«Большой дом», как называли Дворец в XVIII веке, строился в 1769-1775 гг. под руководством московского архитектора Карла Бланка и был предназначен для торжественного приема гостей в летнее время.
Построенный из дерева в традициях русского зодчества, он имеет два этажа – парадный и антресоли, на высоком каменном цоколе, где размещались винные погреба и хозяйственные помещения.
Архитектура Дворца, выстроенного в стиле раннего русского классицизма, вместе с тем, типична для каменных дворцовых построек второй половины XVIII в. Его фасад украшают три колонных портика: центральный – самый большой и торжественный, фронтон которого заполнен пышной резьбой по дереву вокруг вензеля под графской короной; боковые портики полукруглыми фронтонами украшены резными военными атрибутами. К парадному входу Дворца ведет центральный марш белокаменной лестницы и пологие пандусы – спуски для въезда карет. Пандусы фланкируют фигуры сфинксов – фантастических существ с женскими головами и львиными туловищами.