Приблизительно в 12 веке нашей эры во времена расцвета Великой Булгарии на заброшенном городище возникло укрепленное поселение волжских булгар. Именно к тому времени относят постройку крепости, на высоком берегу Камы, напротив устья реки Тоймы, отстатки которой дошли до наших дней, а башня стала архитектурным символом города Елабуга.
Башня и руинированные остатки крепости — единственное сохранившееся сооружения булгарского, домонгольского периода истории Елабуги, которые свидетельствуют, что уже в 10-14 веках на этом месте существовало поселение.
В 1834 году профессор Казанского университета Ф. И. Эрдман на «Чёртовом городище» застал только эту башню, остальные части сооружения были разобраны местными жителями до фундаментов. В 1844 году башня рухнула, за исключением небольшого северного участка с арочным дверным проемом и окном над ним.
В 1871 году елабужский купец Иван Васильевич Шишкин в книге «История города Елабуги» отмечал: «Слышно, что идолопоклонники, принявшие магометанство, и поныне ходят на гору поклониться там праху какого-то своего святого, который тут похоронен, но ни имя, ни место его погребения неизвестно; конечно, они имеют свои религиозные причины скрывать и то и другое».
В 1867 году по инициативе Ивана Васильевича Шишкина башня была восстановлена на старом фундаменте и покрыта железом. Четыре прямоугольных окна в верхней половине башни, ориентированные по странам света, относятся ко времени её реконструкции.
Отреставрированная отцом художника И.В. Шишкиным на его собственные средства башня находиться на месте, где ранее существовала крепость, поселение, неоднократно возрождавшееся на протяжении двух тысячелетий.
Археологи находят здесь культурные слои нескольких разновременных укрепленных поселений: железного века 8-6 веков до н.э., племен ананьинской культуры, 5-7 веков н.э., именьковской культуры, представителями которой были балто-славянские племена.
В булгарской летописи Шериф Уд-Дина, писателя 16 века, основание Елабуги приписывается Искандер-зуль Карнейну, то есть Александру Македонскому, известному под этим именем на Востоке.
Архитектура
Крепость состояла из четырёх круглых башен по углам и четырёх полукруглых башен между ними. Сохранившаяся угловая башня утраченного сооружения - каменный пустотелый цилиндр с металлической кровлей в виде низкого купола. Высота 7,1 метра, диаметр внутреннего пространства 5,7 метра. Толщина стены уменьшается от 2 метров у подошвы до 0,7 метра в верхней половине, отчего нижняя половина архитектурного объема получает коническую форму. Первоначальная кладка из неотесанных камней на известковом растворе с алебастром сохранилась только с северной стороны.