Дворец Петра I в Летнем саду построен в стиле барокко по проекту Доменико Трезини в 1710—1714 годах. Это одно из старейших зданий Петербурга. Летний дворец состоит всего из 14-ти комнат и двух кухонь. Он предназначался для использования в тёплое время года (с мая по октябрь), поэтому стены достаточно тонкие, а в окнах — одинарные рамы. Отделка дворца создана художниками А. Захаровым, И. Заварзиным, Ф. Матвеевым. Фасад украшен 29-ю барельефами выполненными немецким скульптором Андреасом Шлютером. На них в аллегорической форме изображены события Северной войны. Сейчас дворец является филиалом Русского музея.
Пётр въехал в частично отделанный дворец в 1712 году и жил там каждое лето до самой смерти в 1725 году. Он занимал нижний этаж, а помещения второго этажа предназначались для Екатерины.
С южной стороны Летнего дворца расположен искусственный бассейн для лодок — Гаванец. Он служил для захода на мелких судах в сад, и был устроен еще до начала сооружения Летнего дворца (в 1705 году по приказанию Петра гавань была углублена на 8 футов, а её стенки обложены каменными плитами).

Гаванец с южной стороны Летнего дворца
Вид с юга.
В 2009-2011 годах при реставрационных работах были раскрыты фрагменты мощения набережной и стенок Гаванца, ныне отреставрированные и составляющие часть мощения территории перед дворцом.
После смерти Петра, вплоть до середины 19 века, дворец использовался в качестве летней резиденции для сановников и придворных: А.И. Горчаков (в 1815), Д.И. Лобанов-Ростовский (в 1816), М.А. Милорадович (с 1822), Е.Ф. Канкрин (1830-е), Ф.П. Вронченко (1840-е). Сановники жили здесь в холодное время года, им предоставлялся только второй этаж.
При Александре I весной и летом в царскую резиденцию стали допускать публику.
7 (19 по новому стилю) ноября 1824 года в Петербурге произошло наводнение, которой в настоящее время считается самым значительным и разрушительным за всю историю города. Это наводнение нанесло Летнему дворцу значительные повреждения. В итоге были проведены восстановительные работы «с соблюдением прежнего вида».
В 1840 году была составлена подробная опись «исторических достопамятностей» Летнего дворца, некоторые из них были реставрированы.
В 1903 году, к 200-летию Петербурга, в Летнем дворце была организована выставка памятников петровской эпохи. Здесь были выставлены портреты и гравюры, знамена, военные орудия, предметы мебели и прикладного искусства, книги и чертежи.
Советский период
В 1934 году в здании дворца был открыт историко-бытовой музей.
Во время Великой отечественной войны Летний дворец получил некоторые повреждения: были вырваны рамы, осыпалась штукатурка на потолках комнат и на фасаде, крыша была повреждена осколками снарядов.
В 1946 году началась реставрация дворца. В 1947 году музей был снова открыт для посещений.
В 1950-1960-х годах была проведена полномасштабная реставрация с целью восстановить изначальный облик дворца, в том числе были заменены полы, изменена система отопления, восстановлена лепка, рисунок плафонов, возвращена обивка стен тканью.
Во время послевоенной реставрации Летний дворец получил стены окрашенный в желтый цвет с терракотовым декором.

Северный фасад Летнего дворца
Вид с северо-запада. Слева на фото скульптурная композиция «Мир и Победа».
Современность
С 2014 по 2018 год (открыт 25 мая 2018 года) проводилась комплексная реставрация Летнего дворца. Во дворце велись работы над полами, были отреставрированы стеновые деревянные панели и дубовые ступени Парадной и Винтовой лестниц, конструктивные элементы, а также предметы декоративно-прикладного искусства.
Изменился и внешний облик Летнего дворца - фасады были перекрашены в исторические цвета: белые стены с декором цвета охры, а также устроена медная крыша.

Летний дворец и скульптурная композиция «Мир и Победа»
Вид с северо-запада.
Экспозицию Летнего дворца составляют только мемориальные предметы и произведения искусства первой четверти 18 века.