Сохранившаяся в первозданном виде резиденции Петра I в Летнем саду построена в стиле барокко по проекту Д. Трезини в 1710—1714 годах. Это одно из старейших зданий города. Летний дворец скромен и состоит всего из 14-ти комнат и двух кухонь. Он предназначался для использования в тёплое время года (с мая по октябрь), поэтому стены достаточно тонкие, а в окнах — одинарные рамы. Отделка дворца была создана художниками А. Захаровым, И. Заварзиным, Ф. Матвеевым. Фасад украшен 29-ю барельефами, выполненными немецким скульптором Андреасом Шлютером, где в аллегорической форме изображены события Северной войны. Ныне дворец является филиалом Русского музея.
Пётр въехал в частично отделанный дворец в 1712 году и жил там каждое лето до самой смерти в 1725 году. Он занимал нижний этаж, а помещения второго этажа предназначались для Екатерины.
С южной стороны Летнего дворца расположен искусственный бассейн для лодок — Гаванец. Он служил для захода на мелких судах в сад, и был устроен еще до начала сооружения Летнего дворца (в 1705 году по приказанию Петра гавань была углублена на 8 футов, а её стенки обложены каменными плитами).
В 2009-2011 годах при реставрационных работах были раскрыты фрагменты мощения набережной и стенок Гаванца, ныне отреставрированные и составляющие часть мощения территории перед дворцом.
После смерти Петра вплоть до середины 19 века дворец использовался в качестве летней резиденции для сановников и придворных: А.И. Горчаков (в 1815), Д.И. Лобанов-Ростовский (в 1816), М.А. Милорадович (с 1822), Е.Ф. Канкрин (1830-е), Ф.П. Вронченко (1840-е). Сановники жили здесь в холодное время года; им предоставлялся только второй этаж.
При Александре I весной и летом в царскую резиденцию стали допускать публику.
Произошедешее в 1824 году наводнение нанесло Летнему дворцу значительные повреждения. В итоге были проведены восстановительные работы «с соблюдением прежнего вида».
В 1840 году была составлена подробная опись «исторических достопамятностей», некоторые из них были реставрированы.
В 1903 году, к 200-летию Петербурга, в Летнем дворце была организована выставка памятников петровской эпохи. Здесь были выставлены портреты и гравюры, знамена, военные орудия, предметы мебели и прикладного искусства, книги и чертежи.
В 1934 году в здании дворца был открыт историко-бытовой музей.
Во время Великой отечественной войны Летний дворец получил некоторые повреждения: были вырваны рамы, осыпалась штукатурка на потолках комнат и на фасаде, крыша была повреждена осколками снарядов.
В 1946 году началась реставрация дворца. В 1947 году музей был снова открыт для посещений.
В 1950-1960-х годах была проведена полномасштабная реставрация с целью восстановить изначальный облик дворца, в том числе были заменены полы, изменена система отопления, восстановлена лепка, рисунок плафонов, возвращена обивка стен тканью.
С 2014 по 2018 год (открыт 25 мая 2018 года) проводилась комплексная реставрация Летнего дворца. Во дворце велись работы над полами, были отреставрированы стеновые деревянные панели и дубовые ступени Парадной и Винтовой лестниц, конструктивные элементы, а также предметы декоративно-прикладного искусства. Изменился и внешний облика Летнего дворца - фасады были перекрашены в исторические цвета: белые стены с декором цвета охры, а также устроена медная крыша.
Во время послевоенной реставрации Летний дворец получил стены окрашенный в желтый цвет с терракотовым декором, крыша была устроена металлической.
Экспозицию Летнего дворца составляют только мемориальные предметы и произведения искусства первой четверти 18 века.