Миниатюрная крепость сооружена в 1795-1797 годах по проекту архитектора В. Бренна на месте Мариенталя, стоявшего там, где некогда были укрепления шведского генерала Краниорта. По замыслу крепость «Бип» должна была напоминать средневековые замки-крепости: ее окружали валы и рвы, через которые были перекинуты подъемные мосты, а на бастионах были размещены пушки. Крепость это эффектная декорация, а не реальное укрепление, но при Павле здесь размещался гарнизон, который нёс службу со строжайшим соблюдением всех правил устава.
На валу сохранилась доска с надписью: «Вал сей остаток укрепления, сделанного шведским генералом Краниортом в 1702 году, когда он, будучи разбит окольничим Апраксиным, ретировался через сей пост к Дударовой горе».
Главную часть миниатюрной крепости составляла круглая башня с коническим куполом, соединенная наружным ходом по кровле к другой башней с зубцами. Еще одна башня, четырехугольная, с большими часами, бой которых слышался далеко вокруг, поднималась над главными Никольскими воротами.
Поскольку крепость строилась с учётом правил классической фортификации, Павел велел приписать её к военному ведомству и оснастить 28 артиллерийскими орудиями. На заходе солнца поднимали разводной мост, в полдень делали выстрел из пушки.
Крепость числилась в реестре военных крепостей Российской империи вплоть до 1811 года.
Крепость Бип была не единственным военным сооружением в Павловске конца 1790-х годов. В сентябре 1797 года весь город обнесли валом, при въездах оборудовали гауптвахты. Один за другим следовали императорские указы, жестко регламентировавшие жизнь и быт горожан.
Один из них требовал, например, «чтобы во время высочайшего присутствия в городе не было ни от кого произносимо: свистков, криков и не дельных разговоров».
На плацу перед дворцом и в других местах долгими часами маршировали солдаты. Горе было тому, кто привлек бы к себе царское внимание какой-нибудь оплошностью. Тяжелее всего, конечно, приходилось "нижним чинам" — за любой пустяк их прогоняли сквозь строй и нередко забивали насмерть. Но и офицеры не могли чувствовать себя в безопасности от проявлений гнева императора.
После смерти императора Павла здание использовалось в гражданских целях — как первая в стране школа для глухонемых (1807—1810), военный лазарет (1833—1834), Александровское учебное заведение (1835—1851), приходское и городское училища (начало 20 века). Полки, расквартированные в Павловске, имели в подвале крепости общую офицерскую гауптвахту. Фактические атрибуты крепостной жизни сохранялись здесь вплоть до Октябрьской революции.
После Октябрьской революции замок не попал в состав Павловского музея-заповедника и остался без государственной охраны. С 20 по 23 октября 1919 года, в момент наивысших успехов осеннего наступления белых на Петроград, здесь помещался штаб армии Юденича.
В довоенное время крепость занимали детский дом и военкомат. Во время Великой Отечественной войны крепость сильно пострадало от артиллерийского обстрела и полностью сгорела. Пустая каменная коробка стояла заброшенной до середины 2000-х годов, когда её отремонтировали для использования под частную гостиницу и ресторан.