La primera notícia d'aquest castell és té de l'any 1000, en motiu de la venda d'unes vinyes del comte d'Urgell.[2]
Les ruïnes del castell pertanyen a èpoques diferents, amb edificis annexos i afegitons. És possible que les parets més antigues conservades corresponguin ja als segles XIII o XIV. Els murs de migjorn i llevant estan formats per carreus ben tallats i arrenglerats mentre que la part més moderna és a tramuntana, enfront de l’església.
Llegendes
«
Es conta que durant la guerra, els soldats, plens d’ira, s’enfilaren fins el castell de Lladurs per donar mort al seu rector. Aquest, en veure arribar les tropes, caminà fins a l’extrem del penyasegat i obrint amb fermesa el seu pataigüa de pastor (tradiconal paraigüa de grans dimensions) es precipità al buit per evitar que l’agafessin, i d'aquesta manera pogué salvar la vida.[2]
