Az első kőből épített épületről 1374-ben emlékeznek meg az oklevelek. Ekkor Himfy Benedek – mint I. Lajos helyi adószedője – épített épületet a mai vár helyén. 1382-ben jelent meg a Vezsenyi család a Balaton-felvidéken, ahol többek között Barnag jobbágyfalut kapták Anjou Mária királynőtől hűségük elismeréseként. Mária királynő 1384. december 6-án keltezett oklevelében Vezsenyi László királyi étekfogónak engedélyt adott egy erődített rezidencia, vár létesítésére. 1386-ra elkészült a Zádorvár jelenlegi formájának kialakítása. Az előkelő család azonban a várát nem a saját, hanem a veszprémi káptalan földjén építette fel. Az építkezés ellen a veszprémi káptalan ismét tiltakozást jelentett be, és az őt ért sérelem miatt jogorvoslatért bírósághoz fordult. Hosszas egyezkedés – amely során a Vezsenyiek megpróbálták megvenni az építkezésben érintett birtokot - és vita - mert a Himfy leszármazottak is megtámadták a birtokon lévő építkezésüket lezáró, korábbi egyezséget - kezdődött. A birtokvitából keletkezett pert végül a veszprémi káptalan javára ítélték meg.
A Vezsenyiek ezt követően az 1400-as évig Zádorvárat elhagyták, új rezidenciájukat a közeli Nagyvázsony belterületén hozták létre, ezzel megszületett a Nagyvázsony vára. A Zádorvár a Vezsenyi család távozásával jogi értelemben lakatlanná vált, sorsára hagyva „gazdátlanul” állt a további évszázadokban, de az feltételezhető, hogy ennek ellenére a várat használták.
1472-ben a Vezsenyi család férfiági kihalását követően, a Balaton-felvidéki Vezsenyi-birtokokat Mátyás király Kinizsi Pálnak adományozta. Talán innen eredhet, hogy akkor ezt a várat Kinizsi-vár néven is emlegették, bár maga a vár sosem volt a Kinizsi-birtok része.
Írásos és szájhagyomány útján megmaradt emlékek alapján, Mátyás király halálát követően rövid ideig cseh huszita zsoldosok is bevették magukat a Zádorvár falai közé, vezetőjük pedig egy, a tihanyi kolostorból kilépett pap volt. A folyamatos környéket sújtó zsarnokoskodásuknak, rablásaiknak a jobbágyok folyamatos panaszát követően a nagyvázsonyi vár kapitánya vetett végett: a martalócokat mind egy szálig levágta, vezetőjüket, pedig a megkínzását követő beismerő vallomása alapján kivégeztette.
A várat a végvárrendszerbe nem sorolták be, ezért várnak hadászati szerepe nem volt. Az feltételezhető, hogy ennek ellenére nem hivatalosan, de folyamatosan lakhatták a várat. De mivel a vár nem az aktuális „lakók” tulajdona volt, ezért folyamatosan romlott az állapota.
Az a birtok, amelyen Zádorvár állt, egészen 1652-ig káptalani birtok volt. Zádorvár 1652-ben a veszprémi káptalannal történt birtokrendezést követően III. Ferdinánd király birtokába került. III. Ferdinánd több egyéb birtoktesttel együtt ezt a területet is - akkor a rajta lévő épületegyüttest Pusztavárnak hívva - Zichy Istvánnak adományozta, és így Pusztavár/Zádorvár egészen 1945-ig a Zichy birtok részét képezte. Zádorvárat a Zichy család sem használta, nem is fordított figyelmet és nem költött a vár megóvására, javítására. Azzal, hogy jelentős csaták a várat nem rombolták, a falakat át- vagy hozzá 1394 után nem építettek, a jelenleg álló falak változtatás nélkül az 1374-94-es építési időszakának jegyeit hordozzák magukon. A romos Zádorvár 1991-től Pécsely község önkormányzatának tulajdonába került.
