Павильон был выстроен в 1819-1834 годах в центре бывшего Зверинца, на месте охотничьего павильона «Монбижу», по проекту архитектора А. А. Менеласа. По решению Николая I здесь разместили императорскую коллекцию оружия и павильон стал первым в России публичным музеем оружия. Во время войны (1941-1945 гг.) павильон подвергся значительным разрушениям. В 2014-2016 годах здание было восстановлено. Осенью 2016 года здесь планируется разместить сохранившуюся часть коллекции оружия императора Николая I в рамках совместной с Государственным Эрмитажем экспозиции.
Первоначально на этом месте, в 1749-1750 годах был возведен павильон Монбижу (моя драгоценность) в стиле елизаветинского барокко. Павильон Монбижу был парным павильону Эрмитаж у Екатерининского дворца. Он располагался на прямоугольной площадке (обрамленной каналом), на единой оси с Эрмитажем (на главной геометрической оси всего дворцового ансамбля).
Изначально над проектом павильона работал архитектор Савва Чевакинский. Его проект был утвержден в 1747 году, но в 1749 году проект переработал архитектор Франческо-Бартоломео Растрелли. Композиционное решение было сохранено, но фасады и интерьеры получили более богатое оформление. Наличники окон, дверей и купол были украшены деревянной вызолоченной орнаментальной резьбой, а медный шар на куполе увенчан резной деревянной статуей Славы. Работы по отделке павильона закончились в 1754 году.
Монбижу использовался как охотничий домик, в то время это место было центром Зверинца – территории для содержания животных в естественных условиях, а также в качестве охотничьих угодий.
В павильоне Монбижу, богато украшенном картинами на сюжеты из охотничьей жизни, императрица Елизавета принимала французских и австрийский послов, а сама охота являлась частью придворного церемониала.
В 1750-1752 годах охотничьи угодья обнесли каменной оградой по проекту архитектора Растрелли, а по углам ограды архитектор Петр Островский по правилам военно-инженерной науки соорудил четыре бастиона, завершенные беседками-люстгаузами. От павильона Монбижу к люстгаузам вели диагональные просеки.
Постепенно от идеи Зверинца в этом месте отказались. Уже при Екатерине II охотничьи угодья перенесли подальше, в Гатчину, и Зверинец пришёл в запустение, а павильон сильно обветшал. Только в 1799 году император Павел I распорядился привести в порядок лесной массив и отремонтировать павильон Монбижу, но работы приостановились в 1801 году.
В 1819 году (при Александре I) начали ломать каменную стену и приводить планировку зверинца в парковый вид. Проложили новые пейзажные дороги и дорожки, высадили лиственные деревья. В это время изменились и размеры парка - его границы расширились до въездов в Царское Село (здесь впоследствии соорудили Александровские и Египетские ворота). Окружающую стену разобрали к 1823 году, а материалы пошли на строительство новых парковых павильонов.
В 1817-1834 годах павильон Монбижу был перестроен архитекторами Адомом Менеласом в неоготическом стиле (в стилистике английской готики). Отделку интерьеров вёл архитектор Александр Тон. В основе нового композиционного решения лежит центральный двухэтажный объем Монбижу, а в обработке фасадов было использовано изображение одного из готических замков Англии - Шрубс-Хилла, известного по одной из гравюр.
После перестройки здесь разместился музей, в котором император Николай I повелел разместить свою коллекцию оружия, доспехов, восточных чепраков. Это был первый в России публичный музей оружия. По решению императора павильон стал именоваться «Арсенал».
В «Арсенале» размещалось до пяти тысяч единиц холодного и огнестрельного оружия. Коллекцию музея после Николай I, продолжил пополнять Александр II. Кроме оружия здесь хранились такие реликвии, как трость Екатерины II, трофеи Венгерской войны, сабля Т. Костюшко, секиры и палицы Шамиля, сабля и палица И. Мазепы, личные вещи Наполеона.
В 1883 году (по другим данным в 1886 году) по воле императора Александра III уникальное собрание передали в Императорский Эрмитаж, а в освободившихся помещениях павильона были размещены модели царскосельских построек, точные копии формы одежды русских конных полков, коллекции стекла и фарфора Его Императорского Величества завода.
В годы Великой Отечественной войны (1941-1945 гг.) зданию Арсенала были нанесены значительные повреждения, и все последующие годы оно находилось в полуразрушенном состоянии. Винтовые лестницы, находившиеся в двух башнях, обрушились вместе с крышей, отделка интерьеров и роспись были утрачены.
В 2011 году сотрудниками АРМ-3 ОАО «СПб НИиП института по реставрации памятников истории и культуры «НИИ СПЕЦПРОЕКТРЕСТАВРАЦИЯ» был разработан проект реставрации павильона Арсенал. На основании исследований состояния памятника проект предусматривал работы направленные на максимальное сохранение объемно-планировочной композиции здания и сохранившихся конструктивных и архитектурных элементов, а также воссоздание деталей и элементов по сохранившимся образцам.
В 2012 были выполнены противоаварийные работы.
С сентября 2014 года по февраль 2016 года были выполнены ремонтно-реставрационные работы.
Осенью 2016 года в павильоне «Арсенал» открыли постоянную экспозицию, связанную с историей оружия. Центральное место в планировке павильона занимает восьмиугольный Зал рыцарей, здесь выставлена лучшая часть императорской коллекции - 400 единиц оружия и предметов искусства: известная картина Ораса Верне «Царскосельская карусель», коллекции восточного холодного оружия, огнестрельного оружия XVIII–XIX веков, предметы конской упряжи, доспехи XVI века из коллекции Николая I (которые и раньше находились в «Арсенале»).
Здание павильона представляет собой четыре шестиугольных башни примыкающих к центральному восьмигранному массиву.
Решение фасадов здания характерно для архитектуры России первой трети 19 века увлеченной готикой. Стены основного двухэтажного массива с примыкающими к нему одной из своих граней трехъярусными башнями увенчаны зубчатым парапетом. В оконные проемы, прямые, полуциркульные и круглые, вставлены переплеты готического рисунка.
Среди готических построек Александровского парка, здание Арсенала играет основную роль, так как расположено на пересечении радиальных просек Зверинца и главной перспективы парка.