Construit par Nicolas Chéron, sieur de Fresnay, l’Hôtel Montpensier est remarquable par son élégance et son architecture, un alliage de brique Saint-Jean rose et de pierre calcaire. Le décor en damier a été inspiré de l’architecture Parisienne. La légende de l’Hôtel Montpensier indique que cette demeure était le pied à terre de La Grande Mademoiselle. Même si Anne-Marie-Louise d’Orléans était Vicomtesse d’Auge, elle n’est jamais venue sur ses terres, elle se faisait représentée par ses intendants. Or c’est un notaire chargé de sa vente au XIXème qui a inventé cette histoire afin de le vendre un peu plus cher et un peu plus rapidement. Cette demeure abrite actuellement la Bibliothèque.