Памятный камень установлен на месте, где до 1932 года стоял собор во имя Св. апостола Андрея Первозванного. Храм был возведен в 1805—1817 годах по проекту архитектора Ч. Камерона и А. Захарова. Особую известность он приобрел благодаря деятельности Иоанна Кронштадского, прослужившего в Андреевском соборе 53 года. В 1932 году собор был разрушен. На его месте был установлен памятник В. И. Ленину. Рядом со сквером располагается мемориальная пешеходная зона, где размещена карта города и символический котел, от которого, по преданию, и получил свое название остров Котлин.
Собор Андрея Первозванного можно назвать выдающимся произведением архитектуры русского классицизма. Проект собора был разработан Чарлзом Камероном в 1804 году, а его торжественная закладка состоялась 20 июня 1805 года. В церемонии принимал участие император Александр I со свитой. В память о закладке храма была выпущена золотая медаль. В этом же году было принято решение уволить Ч. Камерона с должности главного адмиралтейского архитектора. Его место занял А. Захаров.
Андреян Захаров внес изменения в проект Камерона и 14 марта 1806 года его проект был утвержден императором. В проекте Захарова основная композиция собора осталась прежней, но были изменены пропорции здания.
Освящение Андреевского собора состоялось в 1817 году.
Храм был решен в стиле ампир. В плане здание имело вид латинского креста. С севера и юга собор украшали шестиколонные портики. Барабан купола опирался на четыре массивных пилона. Трапеза соединялась с притвором, на котором находилась колокольня.
Особенную известность храм приобрел благодаря деятельности знаменитого проповедника св. прав. Иоанна Кронштадского (1829—1908). Который служил здесь 53 года, с 1855 года, когда 26-летний Иоанн был рукоположён в священники к Андреевскому собору, и до самой кончины.
В 1932 году Андреевский собор был разрушен. На его месте был установлен памятник В. И. Ленину.
Рядом с собором располагается Тихвинская часовня. Первоначально она была выстроена здесь в 1898-1899 годах и была приписана к Андреевскому собору. В 1931 году часовню закрыли, а после разобрали. В 2008-2009 годах часовня была воссоздана.