El castillo-palacio de Escalona, se encuentra situado en una meseta al borde del río Alberche, es una construcción, que se compone del castillo propiamente dicho con su plaza de armas en el centro y de un palacio mudéjar, situado más al sur de la construcción.
Fue inicialmente una fortaleza romana, que se amplió en la denominación islámica. Luego fue tomada por el rey Alfonso VI en el año 1083, poco antes de la caída de Toledo. Se utilizó como defensa en los años 1131, 1137 y 1196. Y en 1281, Fernando III donó la fortaleza y la villa de Escalona a su hijo Manuel de Castilla, por lo que en este castillo nació su hijo, el poeta, escritor y literato el Infante Don Juan Manuel.
En 1424, el rey Juan II entrega esta propiedad al caballero Álvaro de Luna, condestable de Castilla, el cual lo engrandeció y construyó el palacio, convirtiéndolo en el centro de sus posesiones. Tras la muerte de este, Enrique IV entregó la propiedad al caballero Juan Pacheco, marqués de Villena.
El castillo/palacio fue destruido por varios incendios, el más reciente durante la guerra de la Independencia por las tropas francesas bajo el mando del mariscal Soult. Muchos de los materiales del castillo se utilizaron para construir otro patrimonio de Escalona como es el puente, y la reconstrucción de las murallas y casas de los habitantes de Escalona.
En la actualidad el castillo/palacio está en ruinas, aunque una parte ha sido restaurada. Es de propiedad privada, no permitiendo las visitas.
