Arnoldstein està situat entre els Alps Càrnics i els Karavanke al punt (Dreiländereck) que conflueixen els límits estatals d'Àustria, Itàlia i Eslovènia. Al municipi hi passa el riu Gail.
La zona ja era habitada en l'època dels romans, al llarg de la riba esquerra del Gail hi havia una calçada que unia Aquileia a Virunum (prop de Klagenfurt). El nom deriva d'un presumpte fundador del monestir fortificat, el cavaller Arnold. El monestir va estar primer sota la jurisdicció del Patriarcat d'Aquileia, i des de 1014 de la diòcesi de Bamberg; d'aquell edifici encara queden les ruïnes.