Первый дворец на этом месте появился в конце 18 века, в 1847—1848 годах он был перестроен архитектором А. И. Штакеншнейдером, приобретя современный вид. Для отделки дворца был приглашён скульптор Д. И. Иенсен. По его моделям были созданы фигуры атлантов и кариатид. Внутренняя отделка дворца была выполнена Штакеншнейдером. Сегодня в нём расположен городской культурный центр. Во дворце устроен концертный зал, где периодически проходят разнообразные музыкальные выступления.
В 1797 году княгиня А. Г. Белосельская приобрела у И. А. Нарышкина небольшой каменный дом на углу Невского проспекта и набережной Фонтанки. Дом был снесён, и на его месте в конце 18 века архитекторы Тома де Томон и Ф. И. Демерцов построили первый трёхэтажный дворец со скромным фасадом в классическом стиле. Облик этого дома, сохранился на рисунке М. Н. Воробьёва.
В 1847—1848 годах дворец был перестроен архитектором А. И. Штакеншнейдером, приобретя современный вид.
Штакеншнейдер выполнил проект по заказу князя К. Э. Белосельского-Белозерского. После перестройки в стиле необарокко здание стало напоминать растреллиевские дворцы. В рамках этой работы были не только полностью реконструированы корпуса, выходившие на Невский проспект и Фонтанку, но и возведены новые флигеля во дворе дома.
Существует мнение, что прототипом здания послужил Строгановский дворец, выстроенный по проекту архитектора Бартоломео Растрелли.
В отделке фасадов дворца широко использованы художественные приёмы русского барокко 18 века. Для отделки дворца был приглашён скульптор Д. И. Иенсен. По его моделям были созданы фигуры атлантов и кариатид.
Внутренняя отделка дворца была выполнена Штакеншнейдером, яркими примерами такой отделки стали широкая парадная лестница и мраморные камины. Вдоль лестницы стояли кариатиды и скульптуры, поддерживающие позолоченные канделябры, а в ажурной решётке перил автор поместил изящные вензеля из инициалов владельца.
Великолепно была отделана библиотека Белосельских-Белозерских: стены обиты резными деревянными панелями и затянуты шёлком, камин украшен рельефным узором, огромное зеркало в позолоченной раме.
В 1884 году князь К. Э. Белосельский-Белозерский продал дворец великому князю Сергею Александровичу. В 1905 году великая княгиня Елизавета Федоровна, став монахиней, завещала дворец своему племяннику – великому князю Дмитрию Павловичу, который в 1917 году продал его. Позднее здание было национализировано, а в 1920 году здесь разместился райком коммунистической партии.
В 1990-е годы дворец Белосельских-Белозерских был передан Комитету по культуре мэрии Санкт-Петербурга, также в нём был расположен городской культурный центр. Во дворце устроен концертный зал, где периодически проходят разнообразные музыкальные выступления.