Edifici situat al centre del poble, de planta rectangular orientat a migdia. Disposa de planta baixa i dos pisos. La major part del seu volum es troba adossat a l'església de Sant Martí, de forma que esdevé una mena de contrafort per gairebé tota la zona de migdia del temple (fins i tot compten amb un mateix tipus de ràfecs de quatre fileres). L'accés a la segona planta del museu és exterior, i es fa mitjançant una llarga escala de pedra de dos trams. L'aparell és de pedra i pedruscall, encara que es fa notar la utilització de grans carreus, alguns ben treballats, a les cantonades i els emmarcaments de les obertures. Malgrat no disposar d'elements que ens indiquin un caràcter defensiu, cal comptar que aquests deurien existir en el seu temps, doncs la construcció s'aixeca en un clau estratègic del poble, al costat de l'església i formant part del nucli més antic de la Vajol.[1]