До конца XVIII века место у Фонтанки, где сейчас стоит дом №21, оставалось пустым. В 1780-х годах для графа Ивана Илларионовича Воронцова неизвестным архитектором была построена левая часть современного здания. Существует предположение, что в роли зодчего выступил Джакомо Кваренги, и возможно, сегодня именно его творением мы можем любоваться.
В 1799 году особняк был выкуплен обер-егермейстером Дмитрием Львовичем Нарышкиным. Уже в XIX веке в 1821-1822 годах по проекту архитектора, имя которого также не сохранилось, к дому был пристроен правый флигель. Некоторые историки считают, что зодчим второй части здания был итальянец Карл Росси.
В правой стороне особняка на втором этаже был устроен бальный зал, украшенный белыми колоннами и плафоном, расписанным художником Иваном Карловичем Скотти. Проходившие в нём балы и концерты посещали многие известные поэты и литераторы – Гавриил Державин, Александр Пушкин, Иван Крылов, а также члены императорской фамилии.
Своим гостям Нарышкины показывали устроенную в особняке картинную галерею и «музеум». Среди владельцев дворца был племянник Дмитрия Львовича Нарышкина – Лев Нарышкин, а после него в 1840-х годах дом перешёл к дочери последнего – графине Софье Львовне Шуваловой.
В 1844 году новая хозяйка пригласила архитектора Бернара де Симона для переделки некоторых интерьеров во дворце. Бернар де Симон украсил вестибюль, парадную лестницу, Рыцарский зал и гостиные дворца резными и полированными панелями. Всё было выполнено в стиле эклектики. В это же время архитектор Николай Ефимович Ефимов объединил два флигеля при помощи фасада, выполненного в стиле ренессанса. Последними хозяевами дворца в начале XX века стали граф Павел Петрович Шувалов, а затем его жена Елизавета Владимировна Шувалова.
В 1918 году Дворец Шувалова был национализирован, а в его залах размещена экспозиция Музея быта. Среди коллекции музея были картины, фарфор, мебель. В 1925 году музей закрыли, экспонаты отдали в Эрмитаж. Через два года в бывшем дворце Шуваловых разместился Дом печати. Но и он вскоре был ликвидирован, в 1930-х годах здесь вначале находился Дом инженерно-технических работников имени В.М. Молотова, а потом проектная организация.
Во время Великой Отечественной войны здание сильно пострадало. В 1941 году в результате попадания бомбы было разрушено перекрытие колонного зала, а также плафон. После войны дворец стали реставрировать, плафон художника Ивана Скотти был полностью восстановлен. Вторую послевоенную реконструкции в Шуваловском дворце провели в 1960-х годах, после чего в 1965 году в здании был открыт Дом дружбы и мира с народами зарубежных стран.
