Здание на углу Миллионной улицы и Зимней канавки было построено в 1883–1887 годах по проекту архитектора Максимилиана Егоровича Месмахера (1842–1906) для архива Государственного Совета. В разработке проекта также принимал участие военный инженер Владислав Михайлович Карлович (1834–1892). Архитектурное решение здания является интерпретацией мотивов архитектуры итальянского Возрождения — неоренессанса.
Архив при Государственной Адмиралтейств-коллегии был создан в 1724 году и предназначался для сбора и хранения документов коллегии, её экспедиций и контор. Сама Адмиралтейств-коллегия являлась высшим органом управления военно-морскими делами в России с 1718 по 1802 год. В 1827 году при преобразовании Морского министерства был создан Архив Морского министерства, который принял дела Архива Адмиралтейств-коллегии.