Трехэтажный дворец государственного деятеля и мецената Ивана Ивановича Шувалова возведён в 1753—1755 годах по проекту архитектора Саввы Ивановича Чевакинского. Фасад в стиле барокко оформлен ризалитом с колоннами. Усадьба изначально простиралась до Невского проспекта, на который выходил служебный флигель, а с восточной стороны, в роли усадебной ограды, служила сквозная колоннада с расположенным по центру павильоном. От первоначальной отделки дворца сохранились вестибюль со сводами и фрагменты отделки фасадов.
Иван Иванович Шувалов (1727—1797) — русский государственный деятель и меценат, фаворит императрицы Елизаветы Петровны. Шувалов был другом и покровителем М.В. Ломоносова, вместе с ним Шувалов инициировал учреждение Московского университета в 1755 году и Академии художеств в 1757 году.
Современники называли дворец И.И. Шувалова выдающимся сооружением[1]. Здание имеет черты, свойственные архитектуре развитого барокко. Ризалит главного фасада представляет собой трехгранный выступ, декорированный полуколоннами и фронтоном лучковой формы. Ризалиту соответствует восьмиугольный двусветный зал в центре второго этажа. Со стороны двора к дому примыкают низкие полукруглые строения служебного назначения.
Усадебный участок простирался от Миллионной улицы до Невского проспекта. С восточной стороны его оградой служила сквозная колоннада с расположенным по центру павильоном[2].
Позднее владельцем усадьбы стал генерал-прокурор А.А. Вяземский, по указанию которого дворец был частично перестроен в 1775—1776 годах. Дворовый фасад при этом не переделывался. При перестройке в фасады были внесены черты раннего классицизма. Поэтому здание считается памятником переходного периода между стилями[3].
В 1797 году здание было выкуплено казной и до 1917 года в нём находилось Министерство юстиции Российской империи, а затем Временного правительства. В 1816—1819 годах интерьеры дворца были значительно изменены архитектором И. Минчаки[4].
В 1846—1852 годах корпус выходящий на Малую Садовую улицу был перестроен по проекту архитектора Д.Е. Ефимова, а в 1900-х годах он был надстроен четвёртым этажом[5].