Этот небольшой деревянный парковый павильон был построен по проекту архитектора Людвига Ивановича Шарлеманя в 1827 году. Решён он, как и Кофейный домик, в стиле классицизм. Два прямоугольных помещения объединены колоннадой дорического ордера. Изначально помещения служили кладовыми, а открытая средняя часть служила для посетителей сада убежищем от дождя. Первоначальный облик павильона был восстановлен при реставрации в 1981—1983 годах.
В годы Великой Отечественной войны павильон Чайный домик использовался под склад боеприпасов, а в Кофейном домике размещались казармы обслуживающие расположенные в Летнем саду зенитные установки.