Точной датировки, когда и кем был сооружен первый дворец Шуваловых, и сведений о начальной планировке первых построек нет. По «Санкт Петербургским губернским ведомостям» №31 от 1757 года, известно только, что первоначальный дворец был построен на холме и представлял собой «дом графский на высоком мысу стоящим… …и оранжереей вокруг». Скорее всего дом представлял собой быстровозводимую одноэтажную деревянную постройку, вокруг которой потом формировался дворцовый комплекс.
В личном архиве Шуваловых имеются относящиеся к 30-м годам XIX века описи имущества, находившегося в «двух господских домах» (домах-дворцах), возможно, существовавших с 1794 года в Парголовском имении.
В 1850 году А.П.Шувалов начал перестройку Большого дворца, пострадавшего во время пожара (В «Санкт-Петербургских губернских ведомостях» писали: «23 июля 1846 г. в Парголовском имении был пожар, который вскоре при содействии земской полиции был прекращен»). Производить перестройку было поручено архитектору Г.А.Боссе, ученику А.П.Брюллова, выполнившему во время своего ученичества серию проектов загородных домов. Выбор Боссе (1812–1894), по-видимому, был обусловлен тем, что еще в 1841 году он спроектировал виллу В.П.Бутера (последнего мужа тогдашней владелицы имения - Варвары Петровны Шуваловой-Полье-Бутера) в Палермо, и ее черты повторяет построенный им в 1850-е годы дворец в Парголове.
Современный дворец в стиле неоклассицизма XVIII века, явно напоминающий Павловский дворец, был построен по проекту известного русского архитектора С.С. Кричинского в начале 20-го столетия на месте, где раньше стоял старый усадебный дом, сгинувший в пламени пожара. Последней хозяйкой усадьбы являлась графиня Воронцова-Дашкова. В свое время она намеревалась подарить этот великолепный дворец царевичу Алексею Романову, но так и «не вручила» громадный презент.
Фасад и убранство здания решены в неоклассическом стиле с некоторой примесью модерна и выдержаны в характере александровского времени. Величественное здание в два этажа было увенчано полусферическим куполом на барабане. Для цоколя дома, наружных лестниц, подъездов и террас применен серый финляндский гранит, для внутренних лестниц – вазалемский мраморовидный известняк и уральский мрамор. Модели для скульптурных украшений – лепных венков и декоративных фризов и фигуры львов из гранита на главном подъезде – были исполнены скульптором А. Т. Матвеевым. Помимо внешнего изящества дворец изобиловал интерьерами в духе модерна, работу над которыми закончили только к 1926 году, когда дом перешел в распоряжение отдыхающих пищевиков.
