El Palacio de los Consejos también conocido como Palacio del duque de Uceda estuvo construido por Juan Gómez de Mora. En cambio no está del todo claro quién lo diseño si Francisco de Mora o Alonso de Trujillo. Fué mandado construir por Cristóbal Gómez de Sandoval. Otra vez como todos los edificios del Madrid de los Austrias tiene un estilo austero y robusto y presenta bicromía. En aquella época su diseño y sus dimensiones pretendían mostrar el poder del duque. Tras la muerte de Felipe IV fue la residencia de la mujer de este durante un tiempo. Actualmente este edificio hace la función de consejo de estado.