Ad uno sguardo attento, appare evidente che la primitiva residenza dei Caldogno in questo lato del paese non deve essere stata quella villa che fu trasformata in Municipio nel 1931, bensì quel tratto di edificio che si prolunga verso sera, e più precisamente la sua parte più occidentale. Qui, infatti, vengono conservati ormai scarsi ma ancor sicuramente leggibili resti di una struttura del XIV secolo, che deve aver subito un primo e radicale rifacimento verso la metà del secolo XVII, e il cui pro spetto meridionale s'apriva in uno spazioso portico a quattro arcate, sovrastate da altrettante ampie finestre. Delle arcate, solo una rimane ancora in parte conservata, mentre delle altre si scorge solo la chiave di volta sporgente dai recenti intonaci, e le finestre subirono nel corso dei secoli spostamenti e manomissioni di varia portata. Solo verso la fine del '500, non si sa da parte di quale ramo del Caldogno, venne assunta l'iniziativa della costruzione della villa, staccata di pochi metri dalla precedente residenza, ma ad essa collegata da una più bassa struttura, che con l'arco centrale sembra in qualche modo riprendere le arcate dell'edificio primitivo. Dalla parte opposta della villa, da vanti alla piazza, s'allunga un'ala dalle linee più eleganti ed armoniche, scandita da lesene tuscaniche tra le quali si profilano degli archi ciechi molto esili. Questo settore non fu però aggiunto al complesso nel 1930, come si legge sopra la porta dalla pesante intelaiatura in bugne, tipica degli anni trenta, ma si nota già esistente in un disegno del 1653. La villa, finora restaurata più volte e internamente ristrutturata, presenta rivolto a mezzogiorno il suo prospetto maggiore, in cui si possono distinguere, anche se non adeguatamente sviluppati, quattro piani dalle diverse dimensioni e dalle aperture di sagoma differente. Il piano terra si presenta quasi come un seminterrato e ha le finestre molto piccole e rettangolari, tutte in asse con le soprastanti. Al piano nobile si accede per lo scalone esterno, come nella vicina villa palladiana, e le sue finestre, alte e rettangolari, sono come quelle sovrastate da cimasa orizzontale. Viene poi un secondo piano, piuttosto basso e con le finestre quadrate, mentre nel sottotetto si aprono delle finestrelle ellittiche, poco distanziate dalle pre cedenti, tanto che le cornici giungono a sfiorarsi fra di loro.
Nella facciata esterna, il triangolo di quello che avrebbe dovuto essere il frontone, si presenta troppo basso e allargato, per cui non riesce ad imprimere un adeguato scatto verticale al prospetto, che risulta quasi soverchiato più che elevato dalla floscia e stanca struttura. Sembra, inoltre, che l'autore si sia preoccupato eccessivamente di trapuntare tutta la parete con una congerie di aperture che non scandiscono ritmicamente lo spazio, dato che, specie nei settori laterali, gli assi delle finestre appaiono diversamente distanziati fra loro.
Anche nel prospetto settentrionale si nota una certa eleganza, là dove la serliana dell'altra facciata sembra richiamata dall'ampia finestra centrale munita di balconcino e sovrastata da un piccolo frontone triangola re, fiancheggiata a sua volta da altre due più strette e sottili finestre, come nel lato sud. Anche qui tutta la parte centrale è conclusa dall'am pio triangolo tutto in liscia parete, nel quale si aprono solo tre piccole ellittiche in corrispondenza dei vertici.
Indubbiamente l'autore di questa villa deve essere ricercato tra quegli architetti vicentini che gravitano nell'area del Palladio, tanti, infatti, sono i riscontri con gli elementi del grande maestro sia nella impostazione dello spazio interno, sia nella parte centrale della facciata, dove, però, si nota una imitazione stanca e pesante, più che vivace e sostanziale.
Un ulteriore restauro la villa subì nel 1931, quando venne adattata a sede comunale, così come dice una iscrizione conservata nell'atrio', e un altro intervento venne effettuato nel 1968, sicché lo stato di conservazione oggi risulta abbastanza discreto.