Initialement c'est un gymnase-manège Bertini, mentionnée en 1864, qui est construit par l'entrepreneur testerin Jean Monperney pour le compte de la Compagnie du Midi. Il est situé à côté du Bureau des Renseignements (villa Antonina) et du Bazar Universel (actuelle villa Monge). Le gymnase devient la villa Tolédo en 1865. En 1877-1878, la villa est la propriété de l'architecte Gustave Alaux. Cet architecte départemental dessina pour la Compagnie des Chemins de Fer du Midi le plan de plusieurs chalets en 'Ville d'Hiver' et l'église Notre-Dame d'Arcachon. Il transforme probablement le gymnase et l'appelle Roméo. La construction reste rustique avec sa structure de bois et ses murs en briques. Les modifications les plus marquantes concernent l'escalier, les balcons et une ferme en bois découpé.
La villa reprend le nom de Toledo à la fin des années 1880 après avoir été acquise par monsieur Noël, un banquier qui a exercé sa profession en Espagne. Il l’aurait fait transformer par l'architecte Jules de Miramont. La structure décorative en rondins est transformée par une structure en bois découpé. L'escalier extérieur est un chef d'œuvre. Dans les années 1940-1943, la villa a servi de maternité.
Ont vécu dans cette villa:
Le comte Henri de Bourbon-Lignières, Marie Berthe de Monthalant (soprano français d'origine américaine), son mari Numa Auguez (baryton à l'Opéra et professeur au Conservatoire National de Paris), ainsi que monsieur André Mouëzy-Éon (dramaturge français).