Erdődy Bakócz Tamás, későbbi esztergomi érsek Ellerbach Jánostól kapta örökül a birtokot, mely egy ideig Zrínyi György tulajdonába került. Tőle szerezte vissza Erdődy Tamás. A kastély helyén álló erődítmény jellegű épületet az ő utasítására építették át. Későbbi tulajdonosai késő reneszánsz és barokk stílusú átépítésekkel gazdagították az épületet, a délnyugati szárny mellé üvegházat létesítettek. Erdődy Sándor 1850 körül romantikus stílusban építtette át kastélyát, bejárati fő- és melléktornyokkal, erődszerű lőréses falazatú bástyákkal, pálmaházzal stb. bővítve. Ekkor készült a márvány főlépcsőház falának sgraffito díszítése is. A park hajdan mintegy 41 hektár kiterjedésű volt. A valamikori halastavakat tápláló két bővizű patak egyesülése által határolt földnyelven épített kastélyt kedvező természeti adottságú terület övezi, ez ideális feltételeket jelentett a kezdetben barokk elemeket tartalmazó, majd a romantikus és tájképi jellegű park kialakításához. A parképítés a kastély építésével együtt folyamatosan valósult meg a 17-18. századtól az eredeti természetes növényállomány (szil, tölgy, magas kőris) felhasználásával. A park igen gazdag, részben még ma is meglévő növényállományának létrehozásában és telepítésében Erdődy Sándornak (1802-1881) volt jelentős szerepe, aki a kastély átépítésével egyidejűleg a régi park helyén egzotikus fenyők csoportjaival díszített új parkot alakított ki. A szép új fenyőket Erdődy maga hozta Angliából, Franciaországból. Európai, angliai utazásainak, tapasztalatainak és magas szintű botanikai ismereteinek köszönhetően a korábbi barokk jellegzetességeket is tartalmazó kertet az 1850-es évek körül szentimentális, majd angol tájképi jellegű kertté alakította át. Ekkortájt a kastély délnyugati sarkához csatlakozóan pálmaház, illetve télikert is létesült. Itt helyezték el azt a 15. századi velencei kőkutat, mely ma a Szépművészeti Múzeum kőtárában található. Az épület déli homlokzata előtt a parktól elkülönítetten hozták létre a "pleasure-ground" jellegű virágdíszes parterre-t, melyet nyírt bukszussövény szegélyezett, a sarkokon cserépben délszaki növényeket helyeztek ki. A pleasure-groundban is sok fenyő egzótát ültettek, középen halat tartó Nympha szobros (még részben ma is meglévő) szökőkút állt. A park többi részét a kastély romantikus stílusú átépítésével együtt kezdetben szentimentális, majd tájképi jelleggel építették át és hazánkban a 19. század közepétől jelentkező gyűjteményes kertek divatjának megfelelően számos tengerentúli tűlevelű és örökzöld lomblevelű növénnyel gazdagították. Gróf Silva Taurica szakszerű leírásából ismerhetjük meg azt a vépi kastélyparkot, mely a fenyőkorszak úttörője volt a magyar kertészetben. Kámot és Szelestét megelőzve 78 fenyő és 227 lombos fajjal Vép volt a megye leggazdagabb gyűjteményes kertje. A tulajdonos gyűjtőszenvedélyének bizonyitéka a híres tölgygyűjtemény (28 észak-amerikai tölgyfajjal). Ebből néhány még ma is megtalálható, köztük a ritka magyar, fehér, gesztenyelevelű és babérlevelű tölgy. A különleges fás növények közül említést érdemel a szeldeltlevelű gyertyán, a nagylevelű hárs, a vadgesztenye és a nagylevelű liliomfa. A második világháborút követő időkben kezdetben gazdátlan volt a kastély. A kastély ma oktatási intézmény, a park megmaradt része védett terület.
