Castell de Vila-romà és un castell declarat bé cultural d'interès nacional al municipi de Palamós, tot i que més proper a la vila de Vall-llobrega (Baix Empordà). Es tracta d'una fortalesa documentada el 1276. El nom de Vilarromà prové d'una antiga vil·la romana que hi havia al lloc de Palau. Els diferents autors daten l'origen de la construcció en èpoques molt diferents. Però el que hi ha de cert és la primera data documental de 1276 quan el bisbe de Girona, Pere de Castellnou, comprà el castell per 45.000 sous als hereus de Pere Alemany. Pere III el Cerimoniós l'any 1371 l'incorporà a la corona d'Aragó. Sembla que posteriorment també va pertànyer al duc de Sessa, senyor del castell de Calonge. La curta i poc esplendorosa vida de la fortalesa acaba el 1812 amb l'ocupació francesa durant la qual fou volat. Des de llavors els seus murs s'han anat enrunant.
Les runes del castell s'alcen en un replà del vessant meridional de Montagut. Del castell queden notables restes de murs i torres una circular i tres rectangulars. A la part central s'aixeca un mur d'uns 10 metres, segurament el que resta de la torre de l'homenatge de planta rectangular, amb una obertura que havia estat un finestral sota el que hi ha una espitllera i una filera d'opus spicatum. Afegida a la base hi ha una construcció amb volta de canó (cisterna recoberta d'estuc rogenc). Al costat sud hi han els estatges que conserven les arcades de mig punt. L'entrada al recinte devia estar a la banda S-E on hi ha dos torres rectangulars d'uns 7 metres de factura més tardana en la part superior. La torre N-E conserva dos murs d'uns 10 metres amb merlets rectangulars i espitlleres, i a la part baixa es veu l'arrencada d'una volta. Els murs, en general, fan una amplada d'1,20 metres i són fets amb pedra de granit i pissarra sense escairar.
