Aan de Papestraat 19 vinden we het oudste gebouw van Keerbergen. In een archiefstuk van de kerkfabriek van Sint-Michiel vinden wij een rekening van herstelwerk uit 1651.
Er zijn ook nog enkele stukken uit de 18de eeuw. Het gebouw en de tuin worden ook afgebeeld op de Ferrariskaart van 1771-1778. Waarschijnlijk is de pastorie gebouwd na de ontvolking van de
eerste nederzetting aan de Dijle. Hier op een plek die nog steeds “Kerkebergen” wordt genoemd stond al een kapel ter ere van Sint-Antonius en de heilige Barbara. Door de vele onlusten tussen het
katholieke Spanje met zijn vele huurlingen en de protestantse legers van Oranje uit het Noorden was de streek ook zeer onveilig.
De kapel –bezet door het Spaanse huurleger– brandde af in 1606 en betekende het einde van “Chierberghe aan de Dijle”. De bevolking trok stilaan, door de vele overstromingen van de Dijle (die
geen echte oevers bezat in het voorjaar en het najaar), naar het heel wat hoger en veiliger gelegen
centrum.
Aanvankelijk was de oude pastorie een laag gebouw, waarop pas later een verdieping werd gebouwd. De oorspronkelijke keuken werd ook vergroot en er werd een serre aangebouwd. Het breedhuis bestaat uit een hoofdgebouw met twee niveaus en vijf traveeën, met links en rechts ervan bijgebouwtjes. Boven de inkomdeur zien we een nis met een Mariabeeldje. De ramen zijn bekroond met fraai uitgewerkte sluitstenen. Het geheel vormt samen met de tuin vol oude bomen het charmante domein van de oude pastorie. Meer dan drie eeuwen lang was de oude pastorie de woonplaats van de vroegere pastoors van de Heerlijkheid van Keerbergen.
De laatste twee pastoors waren pastoor De Cat (1898 – 1919) en pastoor Faes (1919 – 1935).
Tot 1930 was de pastorie eigendom van de gemeente, nadien is dit prachtige patrimonium verkocht.
Het gebouw lijkt wat op een oud en mooi herenhuis of landelijk buitenverblijf.