El castell fou construït per ordre de Francesc I de França, el 1529. No se sap molt bé si per protegir la ciutat d'atacs marítims, com el sofert el 1524 per part de les tropes espanyoles de l'emperador Carles V, o per controlar el possibles moviments separatistes. El seu ús militar no fou necessari i, de mica en mica, esdevingué presó. Des del segle xvii fins a principis del xx es guanyà fama i llegenda per les seves dures condicions. Quan fou abandonada la seva funció penitenciària hi va funcionar un far fins a 1950. Actualment és un atractiu turístic que ofereix, a més, una esplèndida vista de la ciutat des del mar.
El reconeixement universal li esdevingué en aparèixer a la novel·la d'Alexandre Dumas, El comte de Montecristo, on el protagonista, Edmond Dantès, hi és injustament empresonat durant molts anys.
