El castell palau d'Altamira o Alcàsser de la Senyoria, va ser construït a la fi del segle XV pel noble castellà Gutierre de Cárdenas, primer senyor de la ciutat, després d'haver tornat a la Corona amb els Reis Catòlics, convertint-lo en la seva residència habitual. Tanmateix, és probable que anés construït sobre una obra anterior del segle XII o XIII, que formaria part de les defenses de la vila murada almohade. Va pertànyer als comtes d'Altamira.
La seva planta és poligonal, i els seus elements més excel·lents són la sòlida torre major cuadrangular i les torrasses cilíndriques que protegeixen els seus cantons.
