A l'extrem del poble de Toloriu hi ha una torre cantonera i restes de murs que indiquen una vella fortificació, que estigué en ús fins a la guerra de Successió.[1]
El lloc és esmentat a partir del 1025 amb la forma Toloriz (que altres documents del mateix segle xi transcriuen Tolorivo o Tolarit). Les notícies directes del castell són del segle xiv en endavant, quan el lloc pertanyia a Siscart de Llordat i els seus descendents.[1]
↑ 1,01,1«Castell de Toloriu». Inventari del Patrimoni Arquitectònic. Direcció General del Patrimoni Cultural de la Generalitat de Catalunya. [Consulta: 8 gener 2018].
