És una fortificació de planta poligonal i que comptava, segons les cròniques, amb quatre torres i a la de l'Homenatge. De tot això, es conserven dues torres en gran part i la torre major. També es poden observar diversos llenços de muralla, basaments i restes d'edificis auxiliars, com ara l'aljub.
D'origen islàmic, va ser conquerit per Jaume I, qui donarà el lloc i castell de Torres Torres a Beltran de Bellpuig. El seu fill, Galceran, obtindrà la donació perpètua de la mà del rei Pere, junt les jurisdiccions de Serra i Polop, el 1319. El 1445, els Bellpuig el venen als Vallterra. Segles més tard, recaurà en la família Castellví.
Durant les Guerres Carlistes, el castell es va modificar parcialment per tal de poder emprar-lo per al foc de fusells i artilleria. Es van canviar, per exemple, les sageteres d'obertura recta per forats rodons.
