Diversos nombres ha tenido esta casa a lo largo del tiempo, pero el más conocido fue el de la Mayordomía Ducal por ser residencia del mayordomo, administrador de la Casa del Duque de Medinaceli, en la Villa del Puente de Don Gonzalo. Las últimas décadas ha sido conocida por el apellido de la familia propietaria, Vergara.
La Casa Palacio fue construida en el último tercio del siglo XVIII, aunque a principios del siglo XIX todavía se le estaban realizando obras. Posee una amplia portada de piedra, la mejor de la villa. El edificio tiene tres plantas, destacando el balcón central a cuyos lados se encuentran dos grandes cierres de mirador. Dos escudos idénticos adornan la fachada, junto con elementos decorativos realizados en piedra procedente de las cercanas canteras de Sierra Gorda, posiblemente obra de los canteros locales Hermanos Gallardo, activos en estos años y documentados en las obras de construcción del santuario de la Concepción.
La casa conserva un hermoso patio de columnas, escaleras y varios salones amueblados con mobiliario de época. Conserva un interesante jardín y la parte que se denominaba, en todas estas grandes mansiones, casas de campo, con acceso independiente para carruajes y caballerías por la calle de Godínez.
