El Tossal del Càvet és un turó de 1.263,3 metres d'altitud del terme actual de Conca de Dalt, pertanyent a l'antic municipi de Toralla i Serradell, en territori dels pobles de Serradell i Toralla.
Està situat al sud-oest de Serradell, en el costat meridional de la vall del riu de Serradell, a la carena que separa aquesta vall de la del barranc de Ruganyers, que davalla cap a Rivert. És a llevant de la Roca Palomera.