Возведено в 1905-1911 годах на месте восточных флигелей Михайловского дворца для размещения этнографического отдела Русского музея. Спроектированное архитектором Василием Федоровичем Свиньиным музейное здание имеет четкую симметричную планировку с торжественными Мраморным залом и парадным аванзалом в центре. Грандиозный проект был осуществлен не полностью. Отделка помещений и установка музейного оборудования продолжались до 1916 года, а открытие музея для широкой публики состоялось только в 1923 году.
13 (25) апреля 1895 года был издан именной высочайший указ императора Николая II «Об учреждении особого установления под названием „Русский музей императора Александра III“ и о представлении для сей цели приобретённого в казну Михайловского дворца со всеми принадлежащими к нему флигелями, службами и садом».
Музей в память императора Александра III должен был объединить в себе «всё, относящееся к его личности и истории его Царствования, и представить ясное понятие о художественном и культурном состоянии России». Предпологалось разделить его на три отдела: посвященный памяти императора, художественный, этнографический и художественно-промышленный. Художественный музей разместился в здании Михайловского дворца. Для других отделов решено было возвести новое здание.
Конкурс на проектирование здания для Этнографического и Памятного отделов Русского музея состоялся в 1897 году. По его итогам был выбран проект предложенный архитектором Василием Федоровичем Свиньиным.
Василий Федорович ранее разработал проект реставрации и реконструкции Михайловского дворца под музейную экспозицию. Работы эти были осуществленны в 1895—1898 годах.
С 1900 по 1904 год проходили заседания государственных комиссий на которых обсуждались предстоящие работы и решались различные вопросы. Изначально предпологалось сохранить Манежный и Конюшенный флигели Михайловского дворца (распологавшиеся на месте современного здания этнографический музей) и только в конце 1902 года было оконачательно решено, что они непригодны для музейных целей. В итоге они были полностью разобраны.
Торжественная церемония закладки нового здания состоялась 16 июня 1905 года. Из-за финансовых трудностей, вызванных русско-японской войной, первоначальный проект архитектора в итоге был реализован не полностью. Северные корпуса так и остались только в чертежах и помимо других помещений, не был возведен зал для размещения коллекций Памятного отдела.
Основные строительные работы были завершены к 1911 году, но отделка помещений и установка музейного оборудования продолжались еще пять лет, до 1916 года. Повлияло начало Первой мировой войны и последовавшие позднее политические события. Открытие музея для публики состоялось в 1923 году.