Этот небольшой деревянный парковый павильон был построен по проекту архитектора Л. И. Шарлеманя в 1827 году. Решен он как и Кофейный домик в стиле классицизма. Два прямоугольных помещения связаны колоннадой дорического ордера, изначально помещения служили кладовыми, а открытая средняя часть была для посетителей сада убежищем от дождя. Первоначальный вид павильона был восстановлен при реставрации 1984 году.
В годы Великой Отечественной войны павильон Чайный домик использовался под склад боеприпасов, а в Кофейном домике размещались казармы обслуживающие расположенные в Летнем саду зенитные установки.