Il Castello di Palombara vantava prestigio e notorietà che andava ben oltre i confini della città. Papi, antipapi e Imperatori: Enrico IV e Federico Barbarossa vi trovarono ospitalità; il Conte Ottaviano nel 1111 firmò l’atto di restituzione in favore dell’Abate di San Giovanni in Argentella; nel 1180 vi venne arrestato l’antipapa Innocenzo; nel 1285 Papa Onorio IV (Giacomo Savelli) confermò il proprio testamento; dal 1307 al 1311 fu sede del Tribunale Ecclesiastico per il processo contro i Templari presieduto da Pandolfo Savelli e il 27 luglio 1310 vi fu condannato Frà Gualtiero di Giovanni da Napoli, ultimo dei Templari italiani; nel 1532 vi trovò rifugio Benvenuto Cellini in fuga da Roma; nel 1602 vi nacque Virginia Savelli Farnese, fondatrice delle Oblate Agostiniane di Santa Maria dei Sette Dolori
Nel XIII secolo il feudo passò alla famiglia Savelli che riuscì a estendere il suo potere fino a diventare feudataria assoluta del territorio per tutto il XVI secolo.
La signoria dei Savelli trascinò Palombara in una serie di vicende molto spiacevoli e piuttosto violente che culminarono con la pubblica ammenda fatta a Roma da Giacomo Savelli per aver favorito la banda di Tiburzio e Valeriano di Maso, i quali con la sua complicità avevano fatto di Palombara la base per i loro delitti. Successivamente, tra la fine del XV e l'inizio del XVI secolo, i Savelli si allearono con i Colonna contro gli Orsini e furono questi ultimi a prevalere nella contesa, anche se solo per un breve periodo, perché favoriti da papa Alessanro VI (Rodrigo Borgia).
