La torre de Sant Elm, també anomenada talaia o castell és una torre de defensa de la localitat de Sant Elm, al terme municipal d'Andratx.[1]
Es tracta d'un antic hospital de mariners sorgit de l'obra pia de Bernat Basset, que feu donació el 1279 al rei Jaume II d'uns terrenys del rafal de la Palomera per bastir-hi un hospital i un oratori. Fou posat sota l'advocació de Sant Erasme, protector dels navegants. La torre la feu bastir el monarca el 1302 per defensar l'hospital. Al segle xvi deixà de ser hospital, i així l'oratori fou mantengut per les autoritats eclesiàstiques d'Andratx i la torre, pel batle del mateix terme d'Andratx. El 1886 l'Arxiduc adquirí la propietat.[2]