Расположенный у входа в Мраморный дворец памятник первоначально был установлен на Знаменской площади (ныне площадь Восстания) у Николаевского (ныне Московского) вокзала в 1909 году. Он посвящался «Державному основателю Великого Сибирского пути» (Транссибирской магистрали), начинавшейся от Николаевского вокзала, — строительство магистрали было начато при Александре III. Заказчиками его были император Николай II и члены царской семьи.
Царской семьёй был выбран проект памятника от итальянского скульптора П. П. Трубецкого, работавшего в России в 1897—1906 годах. Над монументальным памятником скульптор П. Трубецкой трудился в 1899—1909 годах.
В члены комиссии по постройке памятника входил в том числе ст.-секр. гр. С. Ю. Витте, а председателем комиссии был гофмейстер кн. Голицын. Для проведения работ была сооружена специальная мастерская-павильон из стекла и железа на Старо-Невском проспекте, неподалёку от Александро-Невской лавры.
В подготовительной стадии Трубецким были созданы восемь небольших по размеру моделей, четыре в натуральную величину и две в масштабе самого памятника.
С. Ю. Витте в своих «Воспоминаниях» обращает внимание на «неуживчивый характер» скульптора. Трубецкой, очевидно, не учитывал мнения великого князя Владимира Александровича, усмотревшего в «модели Трубецкого карикатуру на его брата». Однако вдовствующая императрица, удовлетворённая явно выраженным портретным сходством, способствовала завершению работ над монументом.
Памятник существенно отличался от многих официальных царских монументов; скульптор был далёк от идеализации, от стремления к парадности. Александр III изображенный в мешковатой одежде, грузно сидящим на тяжёлом коне и явно не соответствует общепринятым представлениям об императорах.
Как и во многих других произведениях, здесь ярко воплотилось творческое кредо автора, говорившего, что «портрет не должен быть копией. В глине или на полотне я передаю идею данного человека, то общее, характерное, что вижу в нём». Независимо от степени достоверности слов, приписываемых Трубецкому, — «не занимаюсь политикой. Я изобразил одно животное на другом», — монумент вызывает ощущение давящей силы. А. Бенуа отмечал что эта особенность памятника «обусловлена не просто удачей мастера, но глубоким проникновением художника в задачу».
Конечная модель скульптуры выполнялась в Петербурге. Бронзовую статую итальянский литейщик Э. Сперати отливал по частям: фигуру Александра III — в мастерской литейщика К. А. Робекки, коня — на Обуховском сталелитейном заводе. Постамент из валаамского красного гранита, более трех метров высотой, был сделан по проекту архитектора Ф. О. Шехтеля. На лицевой стороне постамента была выбита надпись: «ИМПЕРАТОРУ АЛЕКСАНДРУ III ДЕРЖАВНОМУ ОСНОВАТЕЛЮ ВЕЛИКАГО СИБИРСКАГО ПУТИ».
Еще до открытия монумента скульптор почувствовал недоброжелательное отношение со стороны многих членов царской фамилии и высших чиновников. Николай II хотел переместить памятник в Иркутск, «отправить его в ссылку в Сибирь, подальше от своих оскорблённых сыновьих глаз», а в столице воздвигнуть другой монумент. С. Ю. Витте также пишет, что скульптор даже не получил своевременно приглашения на торжественное открытие памятника и приехал в Петербург позднее. Но несмотря на всё, монумент все-же решено было установить.
Памятник был освящён и торжественно открыт 23 мая (5 июня) 1909 года в Высочайшем присутствии.
После Октябрьской революции, в 1919 году на постаменте было выбито стихотворение Демьяна Бедного «Пугало».
«Пугало»
Мой сын и мой отец при жизни казнены,
А я пожал удел посмертного бесславья.
Торчу здесь пугалом чугунным для страны,
Навеки сбросившей ярмо самодержавья.
Демьян Бедный
В 1927 году, к десятилетию Октября, памятник был использован для праздничного оформления площади: он был заключен в металлическую клетку, а рядом была пристроена винтообразная башня, колесо, и две мачты, на которых были подвешены серп и молот и надпись "СССР".
В 1937 году памятник демонтировали и убрали в запасники Русского музея.
После Великой Отечественной войны в 1950 году из постамента извлекли три камня, которые были использованы при создании бюстов героев Советского Союза и памятника Римскому-Корсакову.
В 1953 году скульптура была установлена во внутреннем дворе Русского музея.
В 1980-е годы, в период ремонта корпуса Бенуа, статую убрали под дощатый колпак и лишь в 1990 году освободили из этого укрытия.
В 1994 году конная статуя Александра III была перемещена и заняла своё нынешнее место перед входом в Мраморный дворец, ставший филиалом Русского музея. Ранее в Мраморном дворце размещался музей В. И. Ленина и перед входом с 1937 года стоял броневик «Враг капитала» (перемещён в Музей артиллерии и военно-инженерных войск).
В 2013 году министр культуры Владимир Мединский предложил установить памятник Александру III в более подобающем его размерам месте. Как варианты рассматривались Конюшенная или Троицкая площадь, а также его историческое место - площадь Восстания. Законодательном собрании Санкт-Петербурга обсудило эти варианты — перенос памятника на площадь Восстания был отклонен, а перенос на Конюшенную посчитали несвоевременным[1].