L'original fortificació dels Cavallers Teutònics (erigit el 1343) va ser substituït per un castell construït el 1604-1610 pel noble, comerciant en fusta, d'origen hongarès Janusz Eperjesz. L'edifici no va ser dissenyat per ser un bastió de defensa, sinó castell noble residencial amb alguns elements de defensa, edificis d'habitatges i d'altres amb funció per a granja. El castell Panemunė, envoltat per cinc estanys, va esdevenir un dels més bells del renaixement a Lituània. A mitjan segle xvii el fill d'Eperjesz va finalitzar la construcció amb alguns elements en estil barroc.[1]
El castell va passar per diversos propietaris que van anar reconstruint-lo segons els seus gusts i necessitats, a la fi del segle xviii presentava un estil arquitectònic amb característiques del classicisme. Durant la rebel·lió dels anys 1831-1832 va patir danys i l'expropiació dels seus propietaris, la família Gelgaudas, per la seva participació en la mencionada rebel·lió. El castell està inclòs en els monuments arquitectònics de Lituània i la seva reconstrucció s'està realitzant amb finançament dels fons estructurals de la Unió Europea.[2]
↑«Panemunės pilis» (en lituà). Arxivat de l'original el 2006-05-18. [Consulta: 18 desembre 2013].
↑Panemunė castle (Vilma Gudienė). Monuments of Lithuanian art and architecture (en anglès i lituà). Vílnius: Vilnius Academy of Fine Arts Press, 2006, p. 31. ISBN 9955-624-17-5.
