Здание Малого Эрмитажа, вытянутое вдоль восточной стороны Зимнего дворца, возведено в 1764–1775 годах по проекту французского архитектора Ж.-Б. Валлен-Деламота (1729–1800), значительную часть жизни проработавшего в Санкт-Петербурге, и при участии архитектора Ю.М. Фельтена. Малый Эрмитаж считается уникальным примером архитектуры раннего классицизма. Здание задумывалось как оранжерея с зимним садом, где могли расти экзотические растения. Оно включает в себя два павильона – Северный и Южный, которые связывает на уровне второго этажа висячий сад и вытянутые по обе его стороны параллельные галерей.

Дворцовая набережная. Эрмитажный театр, Большой (Старый) Эрмитаж, Малый Эрмитаж и Зимний дворец.
Вид со Стрелки Васильевского острова. Вид с северо-запада.
Главной частью Малого Эрмитаж можно считать Северный павильон, выходящий на набережную Невы. Здесь располагался центральный зал откуда можно было выйти в висячий сад, украшенный фонтаном и декоративными статуями, а также два небольших кабинета, в одном из которых был устроен подъемный стол. Стол сервировался в нижнем этаже и благодаря специльному механизму поднимался непосредственно в зал.
Центральный зал Северного павильона украшали многочисленные художественные полотна и скульптуры, приобретённые императрицей Екатериной II. Эти произведения искусства в итоге стали основой коллекции будущего музея.
В павильоне Екатерина II отдыхала в кругу самых близких и впоследствии именно за этим зданием утвердилось название «Эрмитаж», заимствованное из французского языка и обозначающее «уединенное место».
Реконструкция 1840–1844 годов
В 1840–1844 года Малый Эрмитаж был перестроен по проекту архитектора Василия Петровича Стасова. Южный павильон архитектор надстроил четвёртым этажом, который несколько исказил его облик, а также выполнил перестройку висячего сада.
В помещениях под сводами висячего сада на всём его протяжении (между Южным и Северным павильонами) В.П. Стасов разместил конюшни, манеж и каретный сарай. Эти работы потребовали серьезных переделок, так как заново были возведены или потребовали усовершенствования несущие конструкции (опорные каменные аркады, столбы, колонны и перекрытия).
Реконструкция 1938–1940-х годов
В 1938–1940-х годах манеж и конюшни, под руководством архитектора Александра Владимировича Сивкова, были реконструированы для размещения экспозиционных залов музея. Также по проекту А.В. Сивкова в центре здания были устроены сквозные проходы, связывающие ныне первые этажи Зимнего дворца (через зал Древнего Египта) с Новым Эрмитажем.
Архитектура
Здание Малого Эрмитажа решено в стиле раннего классицизма. Оно включает в себя два трехэтажных павильона – Северный (выходящий на набережную Невы) и Южный (обращённый на Миллионную улицу у Дворцовой площади), которые связывает на уровне второго этажа висячий сад и вытянутые по обе его стороны параллельные галерей.

Малый Эрмитаж. Северный павильон.
Вид с северо-запада.
Северный павильон Малого Эрмитажа
Северный (или Невский) павильон оформлен шестиколонным портиком композитного ордера, поднятым на высокую аркаду, декорированную рустом.

Северный фасад Малого Эрмитажа
Вид с северо-запада.
По сторонам от портика установлены мраморные статуи Флоры и Помоны, созданные скульптором А. Пановым в середине 19 века взамен первоначальных (выполненных из дерева).

Статуя Флоры. Северный павильон Малого Эрмитажа.
Вид с северо-запада.

Статуя Помоны. Северный павильон Малого Эрмитажа.
Вид с севера.
Завершает павильон аттик, увенчанный скульптурной группой.

Аттик со скульптурной группой над Северным павильоном Малого Эрмитажа
Вид с северо-запада.
Решение фасада Северного павильон выделяется строгостью и благодаря горизонтальным членениям и архитектурному ритму[1] поддерживает визуальную связь с фасадом Зимнего дворца.

Северный (Невский) павильон Малого Эрмитажа
Вид с северо-востока.
В интерьере павильона особенный интерес представляет Белый (Павильонный) зал в котором сейчас экспонируются знаменитые часы «Павлин». Двухсветный зал, оформленный легкими мраморными аркадами, был создан в 1850-е годы по проекту архитектора А.И. Штакеншнейдера.
На полу в Белом зале размещён восьмиугольный фрагмент античного мозаичного пола, привезенного из древнеримского города Помпеи, который был разрушен в результате извержения Везувия в 79 году нашей эры.
Южный павильон Малого Эрмитажа
Выходящий на Миллионную улицу Южный павильон получил своё облик согласно проекту архитектора Юрия Матвеевича Фельтена, применившего в его оформлении элементы классицизма и черты «растреллиевского барокко», в стиле которого решены фасады Зимнего дворца (по проекту Франческо Бартоломео Растрелли).

Южный фасад Малого Эрмитажа (Южный павильон)
Вид с юга, с Дворцовой площади.
Первый этаж южного павильона отчасти повторяет мотивы обработки фасада Зимнего дворца. Второй и третий этажи украшены пилястрами и барельефными панно.

Южный павильон Малого Эрмитажа. Центральная часть фасада.
Вид с юго-востока.

Барельеф на фасаде Южного павильона Малого Эрмитажа
Вид с юго-востока.
Четвёртый этаж, выстроенный спустя почти век архитектором В.П. Стасовым, имеет строгое и довольно простое оформление.
1. Эрмитаж. История и архитектура зданий. — Ленинград: Аврора, 1974. — С. 188—189