Комплекс был сооружен в 1821-1827 годах по проекту архитектора А. А. Менеласа для детей императора Николая I, которые занимались здесь военными и гимнастическими упражнениями. На верхнем этаже Башни находилась мастерская придворного живописца А. И. Зауервейда, который давал императорским детям уроки рисования и живописи. В настоящее время в Белой башне сотрудники музея проводят разнообразные занятия и мастер-классы для детей.