De geschiedenis van deze plek gaat terug tot 1273, als 'de toren van Bayart' en het 'gebied van Dhuy'. In 1390 weerden de gronden overgedragen aan Jan van Namen, heer van Wijnendale. Deze was de laatste soevereine graaf van Namen. Bij gebrek aan wettige kinderen verkocht hij in 1421 het graafschap aan Filips de Goede. De lokale heuvel en de heerlijkheid van Dhuy schonk hij aan zijn natuurlijke zoon Filips. Diens familie, die de titel burggraaf van Elzée droeg, bleef tot 1914 te Haspengouw. Tegen de 16e eeuw was de burggraaf van Elzée (met name bekend als Filips V van Namen) een van de rijkste heren van de provincie. Hij ondertekende mee het Eedverbond der edelen, en werd als geus te Dalhen gevangen genomen en op 2 juni 1568 onthoofd op bevel van de hertog van Alva. Door het huwelijk in 1835 van Caroline-Leopoldine van Namen met de graaf van Bergeyck, kwam het kasteel in handen van het nageslacht van een beroemde minister van Karel II van Spanje. In de 17e en de 18 eeuw werd het kasteel helemaal verbouwd.