Rugiero el Normando, conquistando Nápoles en 1140, hizo de Castel dell’Ovo su residencia.
Sin embargo, el uso residencial del castillo fue explotado solo en algunas ocasiones, pues que, con la finalización de Castel Capuano, todas las vías de comercio y desarrollo hacia el interior se trasladaron allí. Con los normandos, comenzó un programa de fortificación sistemática del sitio, que tuvo su primer baluarte en la torre de Normandía, en la que ondeaban las banderas.
Con el pasaje del reino a los suevos por medio de Costanza d’Altavilla, el castillo fue fortalecido aún más en 1222 gracias a Federico II, que ahí manda guardar el tesoro real y hace costruir otras torres (la de Colleville, la Maestra y la di Mezzo). En ese tiempo el castillo se convierte en palacio real y cárcel.
El rey Carlos I de Anjou movió a Castel Nuovo (Maschio Angioino) la corte. Sin embargo mantuvo en Castel dell’Ovo, que en aquel período empieza a ser llamado Chateau de l’Oeuf o Castrum Ovi Incatati, los bienes que debían custodiarse en un lugar muy bien fortalecido: lo convirtió así en residencia de la familia aportando a tal fin numerosas modificaciones y mantuvo en él el tesoro real. En los mismos años, siendo todavía utilizado como cárcel estatal, en el castillo fue encerrado Corradino de Suabia, antes de ser decapitado en la plaza del mercado, y los hijos de Manfredi y de la reina Elena Ducas.
Alfonso V de Aragón, iniciador de la dominación aragonesa en Nápoles (1442-1503) aportó al castillo nuevas modificaciones. En 1503 el asedio de Fernando el Católico demolió definitivamente lo que quedaba de las torres. El castillo fue, de nuevo, masivamente renovado tomando la forma actual. Cambiados los sistemas militares (de las armas de lanzamiento a las bombardas), fueron reconstruidas la torres octagonales y espesadas las murallas, y las estructuras defensivas fueron orientadas hacia tierra y no hacia el mar. Durante el poder de los virreyes españoles y posteriormente de los Borbones, el castillo fue fortificado aún más con baterías de cañones y dos puentes levadizos, pero fue perdiendo completamente la función de residencia real.
