El pueblo aún conserva su aspecto medieval con sus murallas ritmadas por 8 torres y 4 puertas dispuestas en 4 puntos cardinales, su torre de vigilancia y su castillo vizcondal construido en 990 por el Vizconde de Castelnou para servir como base militar para el Vizconde de Vallespir.
El pueblo está organizado en torno a dos calles paralelas, el Carrer d'Avall y el Carrer del Migt. Al visitarlo, notaremos la presencia de hornos de pan, aleros pintados en el reverso de los azulejos y varias casas también tienen hermosas piedras bien cortadas, que provienen del castillo.
El aspecto accidentado de este empinado sitio construido en piedra y dispuesto en escaleras, contrasta de una manera muy agradable con la intimidad que emerge de sus callejones floridos. Se organiza en torno a dos calles paralelas, la Carrer d'Avall y la Carrer del Mig, varias calles escalonadas le permiten ir de una a otra. Al visitarlo, notaremos la presencia de hornos de pan, bizcochos pintados en el reverso de los azulejos y varias casas también tienen hermosas piedras bien cortadas, que provienen del castillo. Las fortificaciones permanecen en gran parte, la parte más notable es la puerta de Millars al norte de la aldea, flanqueada por dos torres.
La región de Castelnou ha estado habitada desde los primeros tiempos. Tenemos la prueba con signos grabados en un lugar llamado Creu d'en Cubri, y especialmente con un dolmen ubicado en el Serrat d'en Geli. La roca de Mallorca conserva las ruinas de una gran torre cuadrangular.
La historia del pueblo comienza con la del castillo. Asiento de un poderoso vizconde en el siglo XI, el castillo fue construido en 990 por iniciativa de los señores de Camélas, reemplazando un antiguo edificio construido en Camélas para establecer el poder del vizconde en el Vallespir.
La primera mención del castillo data de 993, durante un "plaid" (junta asesora) celebrado allí bajo la presidencia de la condesa Ermengarde, viuda del conde Oliba Cabreta.
Los vizcondes de Castelnou eran al mismo tiempo vizcondes del Vallespir, y tenían el señorío de muchos territorios: Castelnou, Camélas, Corbère, Caixas, Fontcouverte, Belpuig, Prunet, Ste Colombe de les Illes, Ponteilla, St Feliu d'Amont yd. Avall, Taulis, Casefabre, Montferrer e incluso Céret a partir del siglo XIII.
La familia Castelnou será una de las familias más importantes del Rosellón. En 1293, Jaubert V de Castelnou dirigia su vizcondado. Sin embargo, desde 1276 fue incluida en el reino de Mallorca, en guerra contra su hermano mayor el reino de Aragón.
Después de la abolición del vizcondado por el rey Sanche de Mallorca (1321), Castelnou se convirtió en una baronía, vendida en 1371 a Andreu de Fenouillet, primer vizconde de Ille y de Canet. Esta baronía pasó a manos de los Perellos, antes de ser adquirida en el siglo XVI por los Llupià, que todavía eran señores de Castelnou en 1789. Esto es solo un breve resumen: el castillo de Castelnou fue asediado en numerosas ocasiones, especialmente en los años 1285-1295 (luchas entre los reyes de Mallorca y Aragón) y en 1559 (conflicto entre el señor de Castelnou y el gobernador del Rosellón).
Particularidad de Castelnou: en 1789 con la abolición de los privilegios, la ciudad se convirtió en la propietaria del castillo. Esta carga siendo demasiado pesada, ella venderá el castillo, que desde entonces es privado. Bajo Carlos X vuelta de la nobleza a Francia, restitución de privilegios: la nobleza española recibió el 50% de sus tierras confiscadas, el otro 50% restante para el pueblo de Castelnou. Hoy todavía estamos en posesión conjunta con un marqués español.
