Les restes del castell es troben a la casa que fou la rectoria del poble de Tost, avui abandonat. Es conserven restes de les escales que accedien a la part superior de la roca sud, i al costat de l'escala hi ha una cisterna de planta trapezoïdal i 50 m³ de volum. Les dependencies del castell ocupaven part de la rectoria però la superposició de construccions no permet delimitar clarament l'abast de les estructures primitives.
El castell de Tost apareix documentat per primera vegada al segle ix quan el clergue Bunó, de Sant Climent de Codinet, va vendre un alou que era situat "in appendicio del castro que dicitur Tauste, in villa que vocatur Coteneto". A inicis del segle x el castell era propietat de Miró de Tost, pare del capitost Arnau Mir de Tost el qual creà un extens senyoriu que comprenia gairebé tota la conca de Tremp i que va constituir el segon dels vescomtats d'Urgell". Tost fou una de propietat del Capítol de la Seu d'Urgell, fins a l'extinció dels senyorius.
«Castell de Tost». Inventari del Patrimoni Arquitectònic de Catalunya. Direcció General del Patrimoni Cultural de la Generalitat de Catalunya. [Consulta: 4 maig 2012].
