El primer castell va ser construït sobre un aflorament de basalt al segle xii per a proporcionar vigilància sobre diverses carreteres. Va ser reforçat al segle xiv per Guillem de Sam, que va construir la torre de l'homenatge, una segona capella i els edificis de l'est.[2] Al segle xv, el castell va passar a ser propietat de la família d'Estaing després del matrimoni de Joana Murol amb Gaspard d'Estaing. El seu fill Francesc I d'Estaing hi va traslladar d'artilleria el segle xvi. Al costat est hi van ser construïts edificis en estil renaixentista.[3]
