Особняк возведен в 1843-1847 годах по проекту архитектора Гаральда Андреевича Боссе для графа Арсения Андреевича Закревского (1783—1865) в стиле неоренессанс. В начале 1870-х годов новым владельцем дома стал граф Платон Александрович Зубов (1835—1890). По его заказу в 1870 году архитектором Карлом Карловичем Шульцем были проведены работы по частичной перестройке здания и изменению фасадов, особняк получил современный облик. Изначально относительно строгий фасад в стиле флорентийского ренессанса украсила богатая лепная отделка. При перестройке был сохранён ряд оригинальных интерьеров, спроектированных Гаральдом Боссе.
Граф Платон Александрович Зубов (1835—1890) являлся крупным землевладелец из графской линии рода Зубовых, имел чин тайного советника (1885) и был благотворителем.
В 1912 году младшим из трёх сыновей графа Платона Александровича, граф Валентин Платонович Зубов (1884—1969) открыл в особняке Институт истории искусств. Валентин Платонович был русским искусствоведом, в 1913 году получил степень доктора философии. Также он известен как первый директор Дворца-музея в Гатчине (1917—1918).
Основанный В.П. Зубовым институт в 1916 году стал высшим учебным заведением. Здесь выступали А. Блок, С. Есенин, В. Маяковский, В. Мейерхольд. В 1917 году, после Октябрьской революции, Валентин Платонович передал особняк новому правительству и институт стал государственным. Сотрудниками института были Ю.Н. Тынянов, Б М. Эйхенбаум, Б.В. Асафьев, В.М. Жирмунский, А.В. Преображенский и другие известные литературоведы, музыковеды.
В настоящее время в особняке П.А. Зубова по прежнему располагается институт. За свою историю он сменил множество названий и был неоднократно реорганизован. С 1992 года он именуется: Российский институт истории искусств и является научно-исследовательским институтом Министерства культуры Российской Федерации.