LLers que en l'edat mitja era una plaça fronterera entre els comtat de Besalú i el d'Empuries, ha estat un punt estratègic des de temps antics, i aquesta importància estratègica, és una de les probables raons de la construcció del castell en aquest lloc. El castell de Llers, juntament amb els altres onze castells que en depenien, van formar una xarxa defensiva de gran importància. Les primeres noticies documentades del lloc sòn del segle X.
Al segle XII en documents relacionats amb la casa de Besalú, i posteriorment amb l casa de Barcelona, ja apareix el llinatge dels Llers. A la segona meitat del segle XII, Arnau de Llers va reunir les seves posessions dels Cervià, per part paterna, i la baronia de Llers per part de mare.
