Башня является доминантой Старого города. Её нижний ярус построен в 1494 году, первоначально это была колокольня выборгского кафедрального собора (разрушен во время Советско-финской войны). В последней трети 17 века пострадавшая от пожара башня была отремонтирована и надстроена, получив форму восьмерика на четверике. В 1753 году когда на ней были установлены часы, стала называться Часовой. Башня служила также пожарной каланчой.
Стены нижнего яруса имеют толщину 1,6 м, они сложены из валунов на известковом растворе.
В 1738 году, когда пожар уничтожил шпиль башни и 9 её колоколов. По указу императрицы Анны Иоанновны из платежей, собираемых выборгской таможней, на ремонт башни были выделены необходимые средства.
В 1753 году на башне были установлены часы с колоколом, приобретённые в Стокгольме.
Внутри башни между маршами лестницы устроена деревянная шахта, по которой спускаются тяжелые гири, приводящие в действие механизм часов.
После пожара 1793 года по проекту Иоганна Брокмана башня была надстроена: появился третий ярус в стиле классицизма, где была устроена смотровая площадка для использования башни в качестве пожарной каланчи. Высота башни достигла 25 метров.
Екатерина II подарила городу набатный колокол с дарственной надписью, который сохранился на Часовой башне до наших дней, его звон раздаётся уже больше двух столетий.
Некоторое время в конце 18 века башня служила колокольней Спасо-Преображенского собора, который затем обзавёлся собственной колокольней.
Благодаря виду на Часовую башню, улица Водной Заставы в середине 19 века получила почётный титул «самая красивая улица Финляндии».
В 1848 году на башне был установлен новый часовой механизм, который продолжает функционировать и в настоящее время.
Во время советско-финских войн Часовая башня, несмотря на свое доминантное положение в городской застройке Выборга, не получила серьезных повреждений.
Часовую башню Выборга можно увидеть в эпизоде советского фильма «Земля Санникова», снятого в 1972—1973 годах (сцена, где Крестовский лезет на башню с завязанными глазами).
В 1974-1981 годах была проведена реставрация башни, с оборудованием смотровой площадки. Реставрация проводилась с отклонениями от проектных рекомендаций и сводилась к сохранению внешнего облика башни. На протяжении следующих десятилетий, при минимальном уходе и под влиянием погодных условий, она пришла в аварийное состояние.
В декабре 2014 – январе 2015 годов были проведены работы по экстренной консервации Часовой башни, находившейся под угрозой обрушения.