El turó es creu que ha estat el lloc d'una antiga fortalesa Skalvians, destruïda pels Cavallers Teutònics el 1276. Més tard va ser usat per a cerimònies religioses de rituals lituans pagans. Un vell altar pagà es trobava al cim del turó fins al segle xix, quan la part superior del turó es va inundar pel Niemen. Al segle xx el lloc va ser popularitzat per Vydūnas, que va organitzar els concerts de cors lituans. Diverses llegendes existeixen sobre el turó de Rambynas. El lloc segueix sent popular per als festivals lituans; el Festival de Sant Jonas se celebra anualment en aquest turó.
Una gran part d'aquest turó es veu afectada per l'erosió i les riuades del riu Niemen. Les obres principals per a la seva conservació es van acabar el 2003, per tal d'aconseguir preservar-lo de l'erosió.
