Павильон возведён архитектором Чарльзом Камероном для Екатерины II в 1780-х годах. При его создании Камерон использовал античные мотивы римских терм. Это двухэтажное здание, в нижнем этаже которого располагались купальный зал, теплая ванная и русская парная, а в верхнем — шесть богато отделанных помещений для отдыха, получившие название «Агатовых комнат». Здесь императрица проводила ранние утренние часы, занимаясь просмотром государственных документов и отвечая на письма.
Павильон располагается между Зубовским корпусом Екатерининского дворца и Камероновой галереей.
Архитектурный ансамбль Чарльза Камерона, состоящий из соединённых Висячим садом Холодных бань, Камероновой галереи и Пандуса, был первым реализованным проектом шотландского архитектора.
В годы Великой Отечественной войны была утрачена яшмовая облицовка и искусственный мрамор стен, бронзовые орнаменты, скульптуры и вазы. Несмотря на это, отделка в основном, сохранилась с 18 века.
Во второй половине 20 века начались работы по реставрации и воссозданию утраченных элементов. В целом, облик здания, с его первоначальным скульптурным убранством и интерьерами был восстановлен только в 2010-е годы.
В настоящее время залы и комнаты павильона открыты для посещения.