Дворец Господаря Молдавского княжества Д.К. Кантемира был возведен в 1720—1725 годах архитектором Ф.-Б. Растрелли. Здание многократно меняло владельцев и неоднократно перестраивалось. Ныне это комплекс из трех корпусов: главный выходит на Дворцовую набережную, два других на Мраморный переулок и Миллионную улицу. Современный облик здание получило в 1875—1877 годах, когда оно было перестроено архитектором К.К. Рахау по заказу купца И.Ф. Громова. Тогда на углу дома со стороны Миллионной улицы появилась примечательная скульптура «Три Музы».
Во времена Петра Первого, в начале 18 века, на этом участке находился дом капитана И. К. Муханова. В 1715 году дом приобрел Господарь Молдавского княжества (титул правителей Молдавского княжества) князь Дмитрий Константинович Кантемир и в 1720—1725 годах возвел здесь дворец. Автором проекта дворца был архитектор Ф.-Б. Растрелли. Здание было решено в стиле петровского барокко с двумя флигелями. Фасады флигелей также имели архитектурное оформление.
В отделе гравюры и рисунка Национального музея Швеции сохранились чертежы дворца: главный фасад дворца, выходящий на набережную Невы, фасад служебного корпуса, выходящий на Мраморный переулок, и фасад дома, выходящий на Миллионную улицу.
В 1726 году во дворце Кантемира проживал поэт Василий Кириллович Тредиаковский, преподававший сыну Дмитрия — молодому Антиоху русский язык и стихосложение.
В 1755—1757 годах в особняке располагалось английское посольство, при котором проживал его секретарь будущий польский король Станислав Понятовский.
В 1762 году братья Матвей и Сергей Кантемиры продали дворец генерал-прокурору Сената Александру Ивановичу Глебову, который через два года перепродал его графу Алексею Петровичу Бестужеву-Рюмину. С этого времени здание многократно меняло своих хозяев. Среди них были граф Владимир Григорьевич Орлов, граф Павел Мартынович Скавронский, князь Михаил Никитич Волконский.
В 1800-х годах корпус со стороны Миллионной улицы был перестроен архитектором Луиджи Руска в классическом стиле.
В 1833 году особняк приобретает Министерство финансов. Здесь разместились канцелярия и типография министерства, а также квартира министра (в доме проживали Егор Францевич Канкрин и Фёдор Павлович Вронченко).
В 1868 году дом из казны выкупает купец Николай Дмитриевич Лоховицкий. Лоховицкий сдаёт в аренду квартиры в доме и одним из квартиросъемщиков становится военный министр генерал-фельдмаршал Дмитрий Алексеевич Милютин.
Особняк Громова
В 1875 году дворец приобретает Илья Федулович Громов — крупный лесоторговец и благотворитель, потомственный почетный гражданин (1869), коммерции советник (1871), младший брат Василия Федуловича Громова.
Громов решает создать из трёх отдельных зданий единый комплекс, для этого он приглашает архитектора Карла Карловича Рахау. В ходе работ с 1875 по 1877 год Рахау переделывает и расширяет корпуса по Мраморному переулку и Миллионной улице и полностью меняется декор. Стены покрываются дробной лепкой, повторяющей мотивы раннего классицизма с привнесением элементов барокко. Внутренние помещения отделываются в стиле готики и рококо. Работы выполняются при участии скульптора А. М. Опекушина и художника К. Л. Аллиауди. Особняк получает современный облик.
Скульптура "Три Музы"
При перестройке на углу дома, выходящего на Миллионной улицу и Мраморный переулок, был устроен полукруглый эркер, под которым на полукруглом гранитном постаменте, окруженном низкой металлической оградой, установлена выразительная мраморная скульптурная группа состоящая из трех женских аллегорических фигур (трёх муз), символизирующих плодородие, искусство и мореплавание. Плодородие держит в руках рог изобилия с фруктами и цветами, а в ногах у нее маска Бахуса (виноделие). Муза Искусства играет на лире, а в руках Мореплавания весло и жезл-кадуций, символ торговли.
После смерти И. Ф. Громова, по его завещанию, дело и имущество перешло торговому компаньону Владимиру Александровичу Ратькову-Рожнову. Торговый дом «Громов и Ко», располагавшийся в Мраморном переулке, д. 1 и возглавлявшийся Ратьковым-Рожновым, существовал до 1917 года.
В настоящее время в корпусе, выходящем на Дворцовую набережную, располагается Российский морской регистр судоходства, а корпуса, выходящие на Мраморный переулок и Миллионную улицу, в 1986 году переданы Санкт-Петербургскому государственному институту культуры.