Només es conserva una paret orientada cap a l'oest de la plaça del Castell i una torre de planta quadrada, amb els costats de gairebé quatre metres, situada a l'angle del sud-oest, al final del carrer Major, amb un arc de mig punt amb dovelles de pedra picada. Es tracta de l'entrada principal al clos murat. Està envoltat d'una edificació que no ha estat massa transformada. Existeix un altre portal de menor importància que sí que ha patit modificacions importants.[1]
Té el seu origen el 27 de juny de 1158 amb la carta de poblament de Santa Maria de la Vall d'Alforja atorgada pel comte Ramon Berenguer IV a favor de Ramon de Ganegot. Comprenia tota la vall i l'obligació de crear una vila fortificada. L'any 1170 Ramon i Bernat de Ganegot i Berenguer de Cambrils van atorgar una carta de població als habitants concedint-los els usos i costums de Siurana.[2] A partir del segle xiii va passar, com a centre de la baronia d'Alforja, a dependre de l'arquebisbe de Tarragona.
