Церковь возведена по проекту архитектора Ивана Кузьмича Коробова (1700—1747) в 1735-1739 годах, а через 100 лет, в 1834-1835 годах, храм был перестроен архитектором Викентием Ивановичем Беретти (1781—1842), получив черты позднего ампира. Предшественницей церкви была часовня святого Пантелеймона, которую Пётр I построил в 1718 году для рабочих Партикулярной верфи. Святой Пантелеймон считался покровителем русского флота. Современная церковь — памятник воинской славы русских моряков, в напоминание об этом на фасаде укреплены мраморные мемориальные доски с перечнем полков, сражавшихся при Гангуте и Гренгаме.
В 1718 году для рабочих Партикулярной верфи, устроенной в истоке Фонтанки, напротив Летнего сада, Петром I была построена часовня во имя святого Пантелеимона.
В день памяти святого Пантелеимона — 27 июля по старому стилю, русский флот в 1714 году одержал победу над шведским флотом при Гангуте и в 1720 году — у острова Гренгам.
2 сентября 1722 года состоялось освящение мазанковой церкви того же посвящения, заменившей часовню.
Каменный храм был выстроен в 1735—1739 годах в стиле аннинского барокко по проекту архитектора И.К. Коробова. Церковь имела колокольню и один деревянный шатровый купол. Внутреннее убранство было создано художником Гавриилом Ипатовым, а иконы и плафон купола написаны художником А.И. Квашниным. Церковь была освящена в храмовый праздник, 27 июля (7 августа) 1739 года, епископом Вологодским Амвросием.
Так как церковь была холодной, к 1764 году к ней был пристроен тёплый придел святой Екатерины, перенесённый в 1783 году в трапезную.
В 1765 году церковь из Адмиралтейств-коллегий перешла в состав епархии.
В 1833—1834 годах напротив Пантелеймоновской церкви (в Доходном доме А.К. Оливио) жил А.С. Пушкин и часто бывал здесь на службе.
В 1834—1835 годах церковь была перестроена в стиле позднего ампира архитектором В.И. Беретти, а в 1840-х годах фасады храма были украшены мраморными барельефами работы скульптора А.В. Логановского.
Храм неоднократно расширялся:
- в 1852 году в сторону Фонтанки по проекту архитектора И.Г. Мальгина,
- в 1875 году со стороны современной улицы Пестеля архитектор В. Ф. Геккер переделал притвор, устроив в нём часовню,
- в 1895—1896 годах архитектором Е.Е. Аникиным (или И.М. Гольмдорфом) был пристроен придел князя Михаила Черниговского и его сына Феодора со стороны Невы. В этом виде церковь и дошла до наших дней.
В храме находилась особо чтимая икона св. Пантелеимона начала 18 века.
С 1867 года здесь действовало благотворительное общество, содержавшее женскую богадельню и детский приют, с 1906 года — первый в Санкт-Петербурге церковно-приходский совет, а с 1913 года — братство святителя Иоасафа Белгородского.
В 1912 году состоялась реставрация церкви, а в 1914 году по инициативе Императорского Русского военно-исторического общества на фасаде Пантелеимоновской церкви были укреплены мраморные мемориальные доски с перечнем полков, сражавшихся при Гангуте и Гренгаме.
С 1922 года и до закрытия приход принадлежал к «обновлеческим» структурам. Церковь находилась в непосредственном ведении лидера обновленцев Александра Введенского.
9 мая 1936 года приход был закрыт. В здании Пантелеимоновской церкви была открыта экспозиция, рассказывающая о сражениях петровского галерного и парусного флота на Балтике, об отваге русских воинов в Северной войне и героизме моряков при обороне полуострова Ханко (Ханко — современное название Гангута) в начале Великой Отечественной войны. В 1944—1946 годах напротив церкви был построен мемориал защитников полуострова Ханко в Великую Отечественную войну (архитекторы: В.А. Каменский, А.А. Лейман).
С 1980 года Пантелеймоновская церковь находился в ведении Музея истории города, там размещалась выставка «Гангутский мемориал».
В 1991 году церковь была возвращена епархии, а с Крещения 1994 года здесь регулярно совершается богослужение. В 2002—2003 годах была проведена реставрация фасадов и куполов.