Здесь, на берегу пруда, рядом с аллей, ведущей в сторону дворца, в 1799 году построил дачу брат друга детства Павла I князь Алексей Куракин. В 1806 году ее купил и перестроил князь Л. Багратион, а в 1811-1812 годах проданный в казну дом был перестроен А. Н. Воронихиным в парковый павильон. Павильон первоначально предполагали называть арсенал, хотя трудно было представить себе что-либо, менее напоминающее склад оружия, чем это здание, но вскоре павильон получил свое второе наименование, ставшее окончательным, - Павильон роз, так как был окружен розариями.
Начертанное на французском языке на фронтоне, оно отвечало и характеру постройки и ее окружению: сотни роскошных роз придавали особое очарование этому уголку парка. В украшении самого строения также все было подчинено теме роз.
Павильон отличается ясностью и простотой художественного решения. Все четыре фасада квадратного в плане здания, увенчанного невысоким куполом, были акцентированы колонными портиками - от всяких иных украшений архитектор отказался, да они оказались бы лишними, ибо скромность оформления фасадов вполне отвечала общему облику павильона, его местоположению и окружению, подчеркивая интимный характер постройки.
Нельзя назвать роскошной отделку внутренних помещений павильона. В центре располагался круглый кабинет-ротонда, обставленный простой мебелью карельской березы и тополевого дерева, украшенный картинами и гравюрами. В четырех полукруглых окнах находились так называемые эоловы арфы - деревянные рамы с натянутыми струнами, издававшими своеобразный звук при каждом дуновении ветра.
В 1814 году в Павловске готовились к встрече Александра I, возвращавшегося из Парижа после победоносного завершения войны против наполеоновской Франции. По этому случаю к павильону в спешном порядке - всего за семнадцать дней - пристроили большой танцевальный зал с круглым балконом по проекту К. Росси и П. Гонзаго.
В 1810-1820-е годы Розовый павильон воспринимался как своего рода новый центр всего садово-паркового комплекса: его простота и уют привлекали больше, чем холодноватая официальность дворца. Именно здесь, в Розовом павильоне, собирались тогда гости Павловска, в числе которых было немало деятелей культуры - поэтов, писателей, художников, артистов.
В наши дни в Розовом павильоне проводятся литературные чтения и музыкальные вечера.