Свое нынешнее название сад получил от Летнего дворца, одного из первых каменных зданий в городе, построенного итальянским архитектором Доменико Трезини в 1710-1712 годах. Украшение дворца барельефами на тему морских и сухопутных побед России было поручено немецкому скульптору и архитектору Андреасу Шлютеру.
Здание построено в стиле петровского барокко и больше напоминает голландский домик, чем дворец. Оно предназначалось для частного проживания царской четы, там не проходило пышных обедов и торжественных приёмов. В двухэтажном дворце 12 комнат, 2 гардеробных, 2 кухни (поварни), 2 вестибюля и целых 6 туалетов (по 3 на этаже), что для того времени являлось невиданной роскошью даже в Европе. Во дворце действовала проточно-промывная канализация. Мыться же ходили в Мыльню, которая располагалась на углу Невы и Лебяжьей канавки, там, где сейчас находится Партер с Коронным фонтаном.
Пётр занимал первый этаж, его супруга – второй, более тёплый. Дворец предназначался исключительно для проживания в летний период, поэтому он не был достаточно утеплён. Во дворце тонкие стены и одинарные рамы на окнах. Его украшали картины и зеркала, русские и голландские изразцы, резное дерево и лепка. Большая часть декора сохранилась до наших дней.
Первоначально Летний дворец был с трёх сторон окружён водой. В начале XVIII века был вырыт искусственный прямоугольный водоём, который получил название «Гаванец». Он примыкал к главному входу дворца, куда с Фонтанки причаливали лодки и небольшие парусные суда. Во время царствования Петра в Петербурге не было мостов через Неву. В первые годы своего существования город напоминал Венецию. Засыпали Гаванец уже в конце XVIII века, при Екатерине Второй. В ходе реконструкции 2010 года он был частично восстановлен, но уже без воды и без соединения с Фонтанкой.
Сам Пётр, часто бывавший в разъездах, не жил подолгу в Летнем дворце. После его смерти здание больше не использовалось для проживания членов царской фамилии.
