Храм был заложен в 1127 году князем Всеволодом Мстиславичем и закончен в 1130 году. В 1135 году князь специальной грамотой передал церковь новгородским купцам. До 17 века церковь Иоанн Предтечи являлась административным центром новгородского Торга: здесь хранились эталоны мер и веса, проходил торговый суд. В 1453 году по указанию архиепископа Евфимия II церковь разобрали и на её месте возвели новую, при этом были сохранены и использованы фундамент и нижняя часть стен прежнего храма, частично воспроизведён прежний архитектурный облик. Впоследствии церковь Иоанна Предтечи неоднократно перестраивалась. В 1825 году у храма была сооружена каменная колокольня, которую, вместе с папертью, разобрали в 1930 году.
В годы Великой Отечественной войны церковь Иоанна Предтечи на Опоках получила значительные повреждения, в том числе были утрачены кровля, большая часть барабана и многие своды.
В 1951—1953 годах храм восстановили и частично отреставрировали под руководством архитектора-реставратора Тамары Викторовны Гладенко (1917—1991).