Сохранившийся в виде руин собор был построен в 15 веке (к 1494 году) и последовательно был католическим, лютеранским и православным. Католический приход города впервые упоминается в середине 14 века. Первая церковь была деревянной. С 1413 года начинается строительство храма в камне, а в 1418 году он освящается во имя Пресвятой Девы Марии и святого Олафа. За свою историю собор уже подвергался разрушению, но впоследствии был восстановлен. Однако, в итоге Советско-финской войны 1939—1940 годов, от него сохранились только стены и бывшая колокольня, известная как Часовая башня.
Первые сведенья о существовании католического прихода в Выборге относятся к 1351—1352 годам, но вероятнее всего он существовал в городе и ранее. Первая церковь была деревянной. В 1411 году, во время новгородской осады Выборга, она сгорела.
В 1413 году начинается возведение каменного храма, который в 1418 году освящается во имя Пресвятой Девы Марии и святого Олафа. Здание каменного храма было завершено к 1494 году, эту дату подтверждает средневековый манускрипт, хранящийся в библиотеке Упсальского университета в Швеции.
Вплоть до Реформации церковь имела множество алтарей (св. Эрика, св. Олафа, св. Бригитты, св. Лаврентия, св. Марии Магдалины). В ходе Реформации, в 1554 году, была основана Выборгская епархия и сюда был назначен первый епископ, храм стал кафедральным собором.
Во время Северной войны, в 1710 году при осаде Выборга, собор сильно пострадал от артиллерийского обстрела. Когда жители Выборга представили русской военной администрации список зданий, которые они хотели бы отремонтировать и продолжать ими пользоваться, Пётр I был немало удивлён, когда не увидел в этом списке Кафедрального собора. Вероятно он был настолько разрушен, что восстановление его горожане посчитали невозможным. Но, по указу Петра I к 1722 году, бывший лютеранский собор отремонтировали, и в нём открылся православный храм освящённый в честь Святых апостолов Петра и Павла.
В 1725 году в храме был установлен новый большой алтарь и престол во имя Рождества Христова, а храм стал называться Рождественским собором, с приделом во имя Святых апостолов Петра и Павла. Он действовал до 1788 года. Затем, после принятия решения о строительстве Спасо-Преображенского собора и очередного пожара, здание бывшего храма передали под провиантский склад Выборгского гарнизона.
В 1913 году в здании снова был устроен православный храм — гарнизонная церковь Трёх Святителей. В храме было три алтаря: средний — в честь Рождества Христова, один из приделов — в честь Святых апостолов Петра и Павла, а другой — в честь Трёх Святителей: Василия Великого, Григория Богослова и Иоанна Златоуста.
С 1918 года храм служил гарнизонной лютеранской церковью (8-ого финляндского стрелкового полка). В связи с предположениями о захоронении в храме Микаэля Агриколы гарнизонную церковь называли также Агрикольской.
Микаэль Агрикола жил в первой половине 16 века, он был первым протестантским епископом в стране и основателем финской письменности. Скончался епископ в 1557 году неподалеку от Выборга и предполагается что похоронен в городе. Возможным местом его захоронения считают Старый Кафедральный собор или бывший собор доминиканского монастыря.
Во время Советско-финской войны в 1939—1940 годах храм был разрушен. Сохранились только стены собора и бывшая колокольня, известная как Часовая башня (ул. Крепостная, 5).
У южной стены храма во время войны финнами было устроено воинское захоронение, на месте которого ныне установлен памятный знак. Надпись на камне гласит: «В память погибших в войне 1939-40 годов и захороненных здесь 108 финских воинов».