De oudste delen van het kasteel van Croy dateren vermoedelijk uit het midden van de vijftiende eeuw. In 1472 bezat Rutger van Erp op Strijp een slotje met hoeve, ongeveer 20 bunder groot. In 1477 verkocht hij het slotje aan Jacob van Croy. Jacob stamde uit de familie De Croÿ, onderdeel van de Bourgondische hofadel. In 1436 werd hij op het kasteel van Chimay in België geboren als zoon van Jean II de Croy, prins van Chimay. Jacob was tevens onder meer domheer van Keulen en bisschop van Kamerijk. De Croy is slechts 17 jaar eigenaar geweest van het "slotje", want in 1494 verkocht De Croy het kasteel aan Cornelis I van Bergen. Waarschijnlijk is Cornelis degene geweest die het kasteel in zijn definitieve omvang heeft laten bouwen. Tevens liet Cornelis het poortgebouw bouwen aan de andere kant van de gracht, vlak bij de huidige Franse boerderij (in gebruik als restaurant, De Croyse Hoeve).
Door eeuwen heen hebben verschillende adellijke families het kasteel bewoond. De laatste adellijke familie was de familie Van der Brugghen. Jan Anthonie van der Brugghen werd in 1772 eigenaar van het kasteel en het landgoed. Van der Brugghen werd op 5 januari 1747 in Indonesië te Rembang (Java) geboren als zoon van Dirk Willem van der Brugghen. Zijn vader was opperkoopman en gezaghebber te Soerabaja. In 1758 vertrok het gezin Van der Brugghen naar Nederland. In 1770 trouwde Jan Anthonie met Maria Fortunee le Boulenger, stammend uit Franse adel.
In 1778 verkocht Jan Anthonie het kasteel aan zijn halfbroer Johan Karel Gideon van der Brugghen (in verband met de dood van hun moeder), die in 1753 te Colombo, Ceylon, werd geboren. Carel Gideon was gehuwd met Margaretha Geertruide Falck, met wie hij 4 kinderen kreeg: Johan Gideon, George Tammo, Johanna Carolina en Louis Carel Auguste.
Johan Karel was tevens eigenaar van goederen in de gehuchten Binderen en Kruisschot. Op Binderen liet Johan Karel diverse vloeiweiden aanleggen waarbij hij gebruik maakte van het kalkrijke water van de Zuid-Willemsvaart. Johan Karel was daarnaast tevens een schapenfokker. Zodoende liet hij een groot aantal Spaanse rammen overkomen om die te kruisen met de Kempische heideschapen.
Freule Jeanne Caroline Constance Wilhelmine van der Brugghen (Constance genoemd) was de enige dochter van jhr. Johan Karel. Zij werd in Utrecht geboren en protestants gedoopt. Als laatstlevend kind van Johan Karel van der Brugghen bleef ze op het kasteel achter. Zij liet zich in 1871 vlak voor haar overlijden katholiek dopen. In haar testament had ze laten vastleggen dat het kasteel onderdak moest bieden aan 20 Stiphoutse en 10 Aarle-Rixtelse ouderen, onder beheer van twee collatoren-provisoren, de pastoor en de burgemeester van Stiphout. Haar wens ging in vervulling, want in 1873 namen de Zusters van Liefde, die inmiddels de Mariëngaarde in Aarle-Rixtel hadden betrokken, de zorg op zich voor de ouderen.
Ruim honderd jaar later, in de jaren ’70 van de vorige eeuw, verlieten de zusters het kasteel. Het verzorgingshuis voldeed niet meer aan de eisen en het kasteel was in slechte staat van onderhoud. De Stichting Geloof, Hoop en Liefde besloot het kasteel om te bouwen tot een bedrijvencentrum zodat er middelen binnen kwamen voor de restauratie en het onderhoud. Sinds dat moment is het kasteel grondig gerestaureerd.
