Павильон в западной части пруда, на втором острове, был построен в 1846-1848 годах по проекту А. Штакеншнейдера для дочери императора Николая I Ольги Николаевны. Павильон напоминает собой неаполитанскую постройку. Здание-башня установлено на выступающем из воды цоколе и завершается плоской крышей, на которой была устроена площадка с деревянным трельяжным навесом. Гладкие, выкрашенные в желтый цвет стены павильона оживлены белыми барельефами и бюстами, балконами и водостоками-драконами.
Во второй половине 19 века на острове устраивались парадные балетные представления.
В 1897 году на южном берегу острова был построен деревянный открытый театр, просуществовавший до 1905 года. Сцена, украшенная декорациями в виде античных руин, была устроена на воде и отделялась от острова полоской воды. Зрительный зал располагался на берегу острова, а оркестр — в специальном кессоне у кромки воды.
Здесь танцевали лучшие артисты Императорских театров: Е. Соколова, П. Гердт, М. Кшесинская, Т. Карсавина, А. Ваганова. Интересные воспоминания о спектаклях на Ольгином оставили балерины М. Кшесинская и Т. Карсавина.
После революции Ольгин остров был запущен, скульптуру вывезли, павильон стоял пустой и медленно разрушался.
В годы Великой Отечественной войны здание серьезно пострадало от пожара. Долгие годы оно находилось в руинированном состоянии. Реставрация стала возможной только в начале 21 века.
За несколько лет Ольгин павильон был полностью воссоздан: установлены новые перекрытия, оконные и дверные заполнения, выполнены штукатурные работы, заново расписаны интерьеры и изготовлены камины, подобраны экспонаты.
В 2005 году в Ольгином павильоне был открыт музей.