In 1552 werd in opdracht van de Prinsbisschop van Luik hier een Donjon gebouwd om de grenzen van het hertogdom Namen te kunnen beschermen tegen de Fransen en de Spanjaarden.

Samart zelf is een stuk ouder. Van de 13e tot de 15e eeuw behoorde dit gebied toe aan de abdij van Sint-Mard - wat de naam lijkt te verklaren. Daarna volgenden de eigenaars zich in vrij snel tempo: de Romerées, Auxbrebis (koperslagers uit Dinant) die de barons van Samart. Tegen 1575 waren het de hertogen van Glimes de Brabant. Het wapenschild boven de ingang - uit 1667 - verwijst nog steeds naar die familie - gehuwd met 'T Serclaes.

Vanaf 1978 werd het kasteel gerestaureerd door M. Gevaert (afkomstig uit Oudenaarde). Voor meer info (Franstalig), zie geocaching of Philippev ille