Первое каменное строения здесь появилось в 1740-х годах, когда участок принадлежал князьям Голицыным. Здание перестраивалось и сменив несколько владельцев, в 1802 году, было куплено графом Николаем Петровичем Румянцевым. По его желанию были переделаны интерьеры и создан парадный двухсветный зал. В 1826 году особняк был перестроен в стиле классицизм по проекту архитектора В.А. Глинки. Главный фасад украсил 12-колонный портик коринфского ордера, во фронтоне которого размещён горельеф «Аполлон на Парнасе», выполненный скульптором И.П. Мартосом. Особняк известен тем, что здесь проходили встречи участников «Румянцевского кружка», а в 1831-1861 годах размещался публичный Румянцевский музей.
Участниками «Румянцевского кружка» были видные историки, археографы и филологи, которых объединил граф Н.П. Румянцев, являвшийся меценатом и любителем древности.
Николай Петрович Румянцев (1754-1826) — сын фельдмаршала П. А. Румянцева, государственный деятель, в годы Наполеоновских войн занимавший пост министра иностранных дел. Также известен как покровитель первого русского кругосветного плавания, меценат и коллекционер.
В своём особняке государственный канцлер Румянцев собрал большую коллекцию монет, книг, рукописей, произведений искусства. Также в особняке размещался минералогический кабинет. На основе этой коллекции, которую собрал, а частью унаследовал Н.П. Румянцев, в 1831-1861 годах в особняке действовал публичный Румянцевский музей.
В 1861 году коллекции «Румянцевского музея» были перевезены в Москву.
1950-х годах особняк Румянцева был передан Музею истории города.
Архитектура дома Румянцева
Главный фасад особняка, выходящий на р. Большая Нева, является образцом архитектуры высокого классицизма. Его автор — архитектор Василий Алексеевич Глинка, в том числе и за этот проект, получил звание академика архитектуры Императорской Академии художеств.
Мощный, сильно выдвинутым двенадцатиколонный портик, установлен на высокий цоколь. Колонны портика с капителями коринфского ордера подчёркивают его монументальность.
В тимпане фронтона портика помещён горельеф, созданный скульптором Иваном Петровичем Мартосом — «Аполлон-Мусагет на Парнасе в окружении девяти муз и матери их Мнемозины» по сторонам композиции — атрибуты наук и искусств.