In de loop der eeuwen is de heuvel zelf ook bebouwd en op het hoogste punt staat het huis van de Duitse ambassadeur. Dit 18e eeuwse pand draagt de naam Huis Schuylenburch, naar de familie die het heeft laten bouwen door Daniël Marot. Daniel Marot was een uit Frankrijk gevluchte Hugenoot in dienst van koning-stadhouder Willem III. Hij was van oorsprong tuinarchitect, maar toen hij de tuinen van Paleis Het Loo zo mooi had ontworpen werd hij door Willem III gevraagd om ook eens gebouwen te proberen. Hij bleek een natuurtalent en heeft onder andere een zijarm van Huis ten Bosch en de Trêvezaal in opdracht van de koning-stadhouder ontworpen. Hij werd ook gevraagd door rijke families. Waaronder de familie Schuylenburch. Volgens sommigen is dit huis Schuylenburch het mooiste gebouw van Den Haag. Het interieur schijnt van een zelfde klasse te zijn, maar het huis is helaas niet voor publiek geopend, want het wordt bewoond door de Duitse ambassadeur. Tot een paar jaar geleden wapperde er geen Duitse vlag, uit eerbetoon aan hetgeen er in de Tweede Wereld Oorlog is gebeurd, maar sinds een jaar of vier hangt daar nu de Duitse vlag naast die van Europa.
