Le château a été bâti au XVIIIe siècle sur les restes d'une villa gallo-romaine (villa Ferminiacum ou Firminiacum) par la famille Huguet de Montaran-Sémonville. En 1825, Charles-Louis Huguet de Sémonville (1759-1839) lègue le Domaine de Frémigny à son beau-fils Charles-Tristan de Montholon. Compagnon d'exil de Napoléon Bonaparte, il est secrétaire et homme de confiance de l'Empereur, qui lui dicte son testament. Après l'exécution de ce testament, il retourne en France dans son Domaine de Frémigny. Son train de vie effréné l'oblige en 1830 à vendre le château. Accablé de dettes, il se réfugie en Belgique avant de s'exiler en Angleterre où il fréquente le jeune Prince Napoléon III.