Дом возведён в 1720-1730-х годах для князя М. В. Голицына. Сменив несколько владельцев, в 1802 году он был куплен графом Н. П. Румянцевым. По его желанию были переделаны интерьеры и создан парадный 2-светный зал. В 1826 году особняк был перестроен в стиле классицизм по проекту архитектора В. А. Глинки. Главный фасад украсил 12-колонный портик коринфского ордера, во фронтоне которого размещён горельеф «Аполлон на Парнасе», выполненный скульптором И. П. Мартосом. Особняк известен тем, что здесь проходили встречи участников «Румянцевского кружка», а в 1831-1861 годах размещался публичный Румянцевский музей.
Участниками «Румянцевского кружка» были видные историки, археографы и филологи, которых объединил граф Н. П. Румянцев, являвшийся меценатом и любителем древности.
Николай Петрович Румянцев (1754-1826) — сын фельдмаршала П. А. Румянцева, государственный деятель, в годы Наполеоновских войн занимавший пост министра иностранных дел. Также известен как покровитель первого русского кругосветного плавания, меценат и коллекционер.
В своём особняке государственный канцлер Николай Петрович Румянцев собрал большую коллекцию монет, книг, рукописей, произведений искусства. Также в особняке размещался минералогический кабинет.
На основе этой коллекции, которую собрал, а частью унаследовал Н. П. Румянцев, в 1831-1861 годах в особняке действовал публичный Румянцевский музей.
В 1861 году коллекции «Румянцевского музея» были перевезены в Москву[1].
В 1950-х годах особняк Румянцева был передан Музею истории города.
Главный фасад особняка, выходящий на р. Большая Нева, образец архитектуры высокого классицизма[1].
Его автор — архитектор Василий Алексеевич Глинка, в том числе и за этот проект, получил звание академика архитектуры Императорской Академии художеств.
Мощный, сильно выдвинутым двенадцатиколонный портик, установлен на высокий цоколь. Колонны портика с капителями коринфского ордера подчёркивают его монументальность.
В тимпане фронтона портика помещён горельеф, созданный скульптором И. П. Мартосом — «Аполлон-Мусагет на Парнасе в окружении девяти муз и матери их Мнемозины» по сторонам композиции — атрибуты наук и искусств.