Rond 1200 werd hier het kasteel van de hertogen van Brabant opgetrokken. Tot 1430 werd het
kasteel regelmatig versterkt en uitgebreid met onder meer een gotische ridderzaal van 48 bij 18 meter groot. Na een periode van leegstand en verval namen de aartshertogen Albrecht en Isabella van 1610 tot 1633 het kasteel in gebruik als buitenverblijf. Van 1740 tot 1780 kende het kasteel een laatste bloeiperiode onder Karel van Lorreinen, landvoogd van de Oostenrijkse Nederlanden. Hij breidde het kasteel sterk uit en liet een deel van de warande heraanleggen. Na zijn dood werd het kasteel gesloopt. De St-Hubertuskapel en de stallingen in hoefijzervorm ontsnapten aan de sloophamer.
De kasteelvijver werd aangelegd rond 1200. Het kasteel zelf werd gebouwd op een landtong in de vijver die gevoed werd door twee kleine waterlopen: aan de zuidkant de Voer en aan de noordkant de Maalbeek (inmiddels opgedroogd). In 1618 werd in de vijver een ‘motte ’ aangelegd, een vierkante siertuin met prieeltjes op de 4 hoeken.
Het hoefijzervormige gebouw aan de overkant van de straat dateert van de periode 1750-1780 en maakte deel uit van de bouwprojecten van Karel van Lorreinen. De twee gebogen vleugels van het stallencomplex creëerden een ruim binnenplein en vormden een monumentale toegang tot het kasteel. In 1897 werd het gebouw aangepast voor het verblijf van de 267 Congolezen die gedurende twee maanden de Congolese dorpen rond de kasteelvijver moesten komen bevolken. Nadien werd het eigendom van de landmacht, en kreeg het de naam Panquin-kazerne.Ondertussen zijn de laatste militairen verdwenen. Het is nog niet duidelijk welke bestemming het Hoefijzer in de toekomst zal krijgen.
