Boven op de indrukwekkende rots (340 m x 40 m) domineert het kasteel van Bouillon de stad. Het is nauw verbonden met Godfried van Bouillon, leider van de eerste kruistocht (1096-1099). De familie d’ Ardenne-Verdun was zich bewust van de strategische waarde van deze plek en startte de bouw in de Xde eeuw. Het « Hertogelijk Paleis », waarvan er nu niets meer overblijft, bestond uit een slottoren (donjon) met woonbestemming en twee bijhorende torens. Er zijn nog steeds, uit dat tijdperk,onderaardse gangen die nog in heel goede staat zijn. Het kasteel zoals men het nu ziet dateert grotendeels uit de XVIde eeuw alhoewel de versterkingen, aangebracht door Vauban (1633 – 1707) zeer opmerkelijk zijn. In 1853 werd het versterkte kasteel gedegradeerd door de Belgische autoriteiten. Als staatsbezit werd het in 1975 ingeschreven in het Belgische patrimonium.
