Fue construido en el último cuarto del siglo XVI por orden de Alfonso de Pina, miembro notable de la nobleza almanseña. Se desconoce quienes fueron sus constructores, aunque se puede encontrar cierta relación con la obra del arquitecto jienense Francisco del Castillo, uno de los principales exponentes del manierismo español.
En 1793 pertenecía al Conde de Cirat, Miguel de Catalá y Calatayud, que tenía el titulo de Grande de España (de donde puede venir el sobrenombre de Casa Grande). Después pasó a manos de los Marqueses de Montortal, hasta que en 1992 fue adquirida por el Ayuntamiento.
El suelo del patio interior de este edificio esta construido con silice.