Замок является архитектурным символом Выборга, он был основан шведами в 1293 году, ранее в этом месте располагался укрепленный пункт карел. Высокая дозорная и боевая крепостная башня замка названа в честь норвежского короля Олафа Святого. Толщина крепостных стен составляет 1,5—2 метра, а толщина стен башни — 4 метра. С 2000 года здесь располагается государственный музей «Выборгский замок». Со смотровой площадки башни Святого Олафа (высота которой 48,6 м), на которую можно подняться, открывается вид на исторический центр города, залив и окрестности.
Выборгский замок был основан шведами в 1293 году, в ходе Третьего крестового похода на Карельскую землю.
По средневековой русской терминологии: на землю племени корела — союзника Великого Новгорода.
Как показали археологические раскопки 1980-х годов, ранее на Замковом острове располагался укрепленный пункт карел, разрушенный взявшими его шведами.
По решению регента шведского короля Торгильса Кнутссона, на Замковом острове возвели мощный замок, получивший название Выборг. Шведы окружили возвышенную часть острова стеной, а в центре возвели каменную башню, квадратную в плане.
Высокая дозорная и боевая башня была названа в честь норвежского короля, крестителя Скандинавии Олафа Святого. Башня долгое время считалась самым высоким донжоном Скандинавии.
Выборгский замок стал центром Выборгского лена, надёжным форпостом распространения шведского влияния на земли Карельского перешейка, оставаясь неприступным вплоть до 1710 года.
Новгородская республика стремилась вернуть потерянные карельские земли, и уже в 1294 году дружина Новгорода Великого осадила Выборг, но взять его новгородцы не смогли. Неудачным был и военный поход против шведов в 1322 году: войско под предводительством князя Юрия Данииловича безуспешно простояло под стенами замка целый месяц, несмотря на применение камнемётных машин.
В 1323 году был заключен Ореховецкий мирный договор между Новгородом и Швецией, по которому граница между ними была установлена по реке Сестре, часть Карельского перешейка вместе с Выборгом перешла к Швеции.
В 1442—1448 годах наместник короля Карл Кнутссон Бунде, как сообщает хроника того времени, «потратил много средств на строительство крепости… создал красивейшие палаты, покрыл их крышей, заставил построить вокруг стену с зубцами, более красивого замка нельзя найти…». По периметру острова была возведена оборонительная стена, образовавшая так называемый «нижний двор» замка. Внешняя стена включала в себя несколько квадратных в плане боевых башен (Пожарная, Сторожевая, Новая, Башмачника).
После того как Бунде стал королём Швеции, сменившие его на посту наместника Эрик Аксельссон Тотт и Стен Стуре Старший продолжили обустройство замка и совершенствование укреплений. Была построена первая круглая в плане башня (сохранившаяся до наших дней), получившая название Райской. Также были обновлены рыцарские залы и парадные комнаты. В зданиях появились изразцовые печи, стены башни Святого Олафа были обшиты деревянными панелями, а верхний двор замостили камнем.
Именно при Эрике Аксельссоне Тотте выросший на полуострове перед замком город был окружен каменной стеной с 9 башнями и 2 бастионами, земляным валом и рвом, наполненным водой и замок постепенно превратился в тыловую позицию крепости.
Новый этап серьёзных строительных работ начался после того, как в 1556 году замок посетил шведский король Густав Ваза. Башни и здания вновь перестраиваются. Береговая линия дополнительно укрепляется деревянными шканцами и больверками.
В 1564 году главная башня надстраивается до 7 этажей, причем верхняя часть решена в восьмигранной форме с прорезанными в трехметровых стенах пушечными бойницами, позволявшими вести круговой обстрел. В кладке башни впервые используется кирпич. Именно в это время она получает облик, который в основном сохранился до наших дней, позже перестраивается только внутренность башни и несколько раз меняется сильно страдавший от пожаров 17—19 веков верх.
В конце 16 — начале 17 века подвергается основательной перестройке предмостное укрепление замка. Сначала вместо деревянных шканцев и временного бастиона сооружаются облицованные камнем валы, а потом все предмостные сооружения объединяются в дом наместника — самое роскошное и надежное здание в Выборге того времени. На острове также было вырыто несколько прудов, в одном из которых архитектор Вевель устроил фонтан.
Во второй половине 17 века вдоль внешней северо-западной стены были выстроены каменные казармы.
13 июня 1710 года, после более чем двухмесячной осады и бомбардировок, город и замок был взят войсками Петра I, а последний шведский комендант города, полковник Магнус Шернстроле сдался. Потерпевший значительный урон замок был быстро восстановлен.
После строительства в конце 16 века Рогатой крепости и Анненских укреплений во второй половине 18 века, надежно прикрывших город со стороны Швеции, военное значение замка значительно снизилось, и его начали использовать для размещения гарнизона.
В 1834 году Выборгский замок пострадал от пожара, но продолжал использоваться до 1856 года, когда во время организованного здесь праздничного фейерверка по случаю открытия Сайменского канала, произошел "грандиозный" пожар, после которого замок три с половиной десятилетия пустовал. Большая часть сооружений была разрушена, а оставшиеся использовались под склады. В здании казарм была размещена тюрьма, где, в частности, содержались в заточении декабристы П. А. Муханов, И. А. Анненков, М. Ф. Митьков и М. С. Лунин.
В 1860 году замок официально был признан негодным к обороне, и его вывели из подчинения военному министерству.
В конце 19 — начале 20 века архитектор Ю. Аренберг разработал проект организации в замке исторического музея, однако его осуществление затянулось и не было доведено до конца.
В 1888 году император Александр III предписал Военному министерству произвести ремонт замка и приспособить его под свои нужды. Было выделено 460 тысяч рублей на проведение масштабной работы по восстановлению и реконструкции замка, которая была проведена в 1891—1894 годах российским Военно-инженерным ведомством, под руководством инженер-полковника Э. Лезедова. Внешний облик замка почти не изменился, но была радикально изменена внутренняя планировка его помещений: стрельчатые и полуциркульные своды заменены балочными перекрытиями, появились новые оконные проёмы (но уже без средневековых каменных скамеек в нишах), другие уровни этажей и стены без каминов и очагов. У входа в башню Святого Олафа было построено гранитное крыльцо, а внутри башни — металлическая лестница для подъема на смотровую площадку. В таком виде замок сохранился до настоящего времени.
Во время войн 1939—1944 годов замок пострадал не значительно, здесь произошло нескольких пожаров. По окончанию Великой Отечественной войны он был передан военным.
В 1964 году министерство обороны Советского Союза передало замок под будущий музей, который открылся в 1970 году, после тщательного изучения ансамбля и проведения архитектурно-археологических работ Эстонским реставрационным управлением под руководством архитектора Х. И. Потти, искусствоведа Е. А. Кальюнди и при научной консультации доктора исторических наук П. А. Рапопорта.
С 2000 года музей называется Государственным музеем «Выборгский замок».