Das aus baugeschichtlicher Sicht wertvollste Gebäude der Anlage neben der Kirche ist das Propsteischloss, der „Rote Bau“. Sein Name leitet sich von den für die Gestaltung der Fassade verwendeten rotbraunen Sandsteinquadern ab.
Der Rote Bau wurde von 1726 bis 1732 nach Plänen des späteren Fuldaer Hofbaumeisters Andrea Gallasini errichtet und diente Conrad von Mengersen als Wohnpalais. Er hatte den Neubau im Zuge der barocken Umgestaltung Johannesbergs in Auftrag gegeben. Wie an vielen Stellen so taucht auch hier das Wappen der Familie von Mengersen über dem Eingangsportal auf. Die Kartusche am Türsturz trägt ein Chronogramm. Die Übersetzung der lateinischen Inschrift lautet: „Unter göttlicher Führung errichtete diese Gebäude Konrad“. Die größeren Buchstaben sind als römische Zahlen anzusehen und addieren sich zur Jahreszahl 1727. In diesem Jahr wurde vermutlich das Portal ausgeführt.
Am Roten Bau trat erstmals die für Andrea Gallasini typische Formensprache in Erscheinung. Dazu gehören die konkav eingezogenen Ecken der Fenster und der nach unten geschweifte Segmentbogen oberhalb der Eingangstür. Die Gliederung der Fassade wird erzielt durch die aus der Außenwand hervortretendenden Bauteile, dazu gehören die genuteten Ecklisenen, die horizontal verlaufenden Gurtgesimse und die Fensterrahmungen.
Anfang der 1990er Jahre wurde der Rote Bau umfangreich restauriert. Für die vorbildliche Restaurierung wurden 1993 die Europa Nostra Medaille und der Hessische Denkmalschutzpreis verliehen. Heute befinden sich im Roten Bau Einrichtungen, die im Bereich Denkmalpflege und Denkmalpflegetourismus tätig sind.
Um in den Garten mit den nächsten Stationen zu gelangen, gehen Sie bis zum Schöpfbrunnen in der Mitte der Gartenmauer und betreten den Garten durch einen der zwei Eingänge.