Дом был построен в 1768-1771 годах по заказу генерал-полицмейстера Петербурга Н. И. Чичерина, позже его владельцами стали купцы Елисеевы, реконструировавшие его по проекту Н. П. Гребёнки. Дошедшее до нас здание можно назвать одним из первых образцов раннего классицизма. Архитектурная особенность дома — двухъярусная колоннада, подражающая колоннадам на фасадах Зимнего дворца, нижний ярус — тосканского ордера, верхний — композитного. Первоначальная отделка внутренних помещений не сохранилась до наших дней. Здание известно также под названием «Дом с колоннами». С домом связано много известных имён.
В 1716 году на этом участке по проекту Н. Ф. Гербеля был построен деревянный Мытный двор, рядом с ним в 1719 году возвели каменный гостиный двор. Достройку гостиного двора осуществлял архитектор Г. И. Маттарнови. Оба здания сгорели в большом пожаре 1736 года, после этого долгое время участок пустовал.
В 1755 году по проекту архитектора Б. Растрелли здесь был построен обширный деревянный Зимний дворец императрицы Елизаветы Петровны, являвшийся временным. Дворец простирался до Малой Морской улицы. После окончания строительства каменного Зимнего дворца этот дворец был разобран, а Большая Морская улица продолжена до Невского проспекта.
В 1768 году участок перешёл в собственность генерал-полицмейстера Н. И. Чичерина. В это время здесь и был построен существующий дом (в 1768-1771 годах), автор его проекта неизвестен. Историки приписывают здание разным архитекторам, скорее всего его автором был Юрий (Георг) Фельтен, являвшийся помощником Б. Ф. Растрелли на строительстве Зимнего дворца. Архитектурные членения дома Чичерина перекликаются с фасадами Зимнего, а сама стилистика фасадов дома - переход от барокко к раннему классицизму - также близка другим работам Фельтена: Малому эрмитажу (особенно южный павильон), Армянской церкви на Невском проспекте и другим его работам.
В 1810-х годах по заказу нового владельца, князя А. Б. Куракина, архитектором В. П. Стасовым был пристроен трехэтажный флигель по Большой Морской улице в стиле строгого классицизма.
В 1830-х годах в здании располагается магазин, а также семейные апартаменты, а на 4 этаже типография А. А. Плюшара, первого издателя «Ревизора», «Фауста» и незавершённой энциклопедии «Энциклопедический лексикон», собравшей значительный коллектив авторов.
В 1858 году дом перешёл в собственность купцов братьев Григория и Степана Елисеевых. С. П. Елисеев был крупным меценатом и коллекционером, его коллекция произведений французского скульптора Родена, экспонируемая в Эрмитаже, попала туда из этого дома.
В 1858 году по заказу владельца дом был реконструирован архитектором Н. П. Гребёнкой. На главном фасаде овальные окна были заменены прямоугольными, колонны верхнего этажа заменили пилонами. В конце 19 века у дома было построено много дворовых флигелей.
В 1902 году проведён капитальный ремонт здания со стороны Мойки.
С домом связано много известных имён: в 1780—1783 годах здесь жил архитектор Джакомо Кваренги, в 1820-х годах А. С. Грибоедов (мемориальная доска со стороны Б. Морской улицы), здесь часто бывал А. С. Пушкин (в романе «Евгений Онегин» он направляет Онегина на встречу с Кавериным в ресторан Talon, располагавшийся именно в этом доме), на проходивших здесь литературных вечерах выступал Ф. М. Достоевский.
В 1919—1923 годах дом Елисеевых стал по инициативе А. М. Горького Домом искусств (ДИСК). Здесь работали К. И. Чуковский, Н. С. Гумилёв, М. М. Зощенко, В. Рождественский, К. Петров-Водкин. Выступали А. М. Горький, А. А. Блок, Андрей Белый, А. А. Ахматова, Ф. Сологуб, В. В. Маяковский, Г. Уэллс. Именно здесь Александр Грин написал «Алые паруса». 3 августа 1921 года в этом доме был арестован Николай Гумилёв.
Жизнь в Доме искусств отобразила писательница О. Форш в своём романе «Сумасшедший корабль».
В 1923 году в доме открылся кинотеатр «Светлая лента» (с 1931 — «Баррикада»).
В 1920-е годы «немые» фильмы сопровождались «живой» музыкой. В «Светлой ленте» пианистом-тапером работал студент консерватории Дмитрий Шостакович, но проработал он здесь недолго — его вскоре уволили за то, что он своей игрой отвлекал зрителей от фильма.
Кинотеатр «Баррикада» не прекращал работу в годы блокады.
В 1995—2003 годах проходила реконструкция корпуса со стороны Мойки для компании «Талион». Здесь разместилась гостиница «Елисеев Палас Отель» (позднее переименованная в «Талион Империал Отель»).
14 декабря 2004 года постановлением правительства Санкт-Петербурга главный корпус дома Чичерина был передан под реставрацию и реконструкцию компании «Талион». Здесь должны были открыться новые торговые площади, увеличится вместимость отеля.
В 2005—2010 годах была проведена комплексная реконструкция здания. Проект реконструкции был разработан архитектурным бюро И.Ерохова и М.Соснило (ЗАО «Альменда»), реставрационная часть выполнена НИИ ГП «Спецпроектреставрация», новые интерьеры созданы по проекту Архитектурной студии А.Свистунова и В.Сергеева.
Внутренние дворы здания были застроены новым корпусом, парадная лестница сохранена, отреставрирована и включена в новый корпус. Здание надстроено мансардным этажом с бассейном. Бассейн, вызывавший протесты градозащитников до начала строительства, оказался полностью невидимым со всех видовых точек Невского проспекта. Уличные фасады здания, интерьеры парадной анфилады второго этажа, большого зала, угловой лестницы и парадной лестницы были отреставрированы. В ходе реконструкции был демонтирован дворовый флигель 18 века, произведено комплексное усиление конструкций здания, в том числе с разборкой наиболее ветхой части стен верхнего этажа. Производимые работы по реконструкции оценивались рядом общественных организаций как вандализм, но проект был надлежащим образом согласован с органами охраны памятников, а выполненные реставрационные работы — приняты ими. Внешний вид демонтированного флигеля можно видеть на рисунке М. В. Добужинского «Двор Дома искусств». В настоящий момент левый и правый корпуса, видимые на рисунке, сохранились и надстроены, а дуговой флигель в центре — разобран, на его месте находится новый корпус большей высоты.
