В Манифесте императора Александра I 1809 года об организации Института Корпуса инженеров путей сообщения в Петербурге (в Юсуповском дворце на Фонтанке) записано: « …в особой зале хранимы будут модели всех важных в России и других землях сооружений, существующие или только предназначенные, равно как и машины при гидравлических работах употребляемые…».
В 1813 году в «особую залу» поступили первые модели. Музей был организован для учебных целей. Сюда поступали различного рода экспонаты: модели, макеты, чертежи и документы, которые присылали организации, осуществлявшие строительство дорог, мостов, каналов и других сооружений в России.
В 1823 году музей вместе с институтом переводится в новое здание (Московский проспект, 9).
С 1862 года музей по определенным дням недели открывался для широкой публики. Коллекции музея непрерывно пополнялись новыми материалами.
Во второй половине 19 века большинство экспонатов поступило в виде даров различных учреждений, предприятий, отдельных граждан.
25 июня (6 июля по новому стилю) 1896 года исполнялось 100 лет со дня рождения императора Николая I, сыгравшего большую роль в появлении первых железных дорог в России. Министр путей сообщения М. И. Хилков предложил основать в Петербурге в одном из зданий ведомства музей для различных моделей, сооружений, снарядов и машин с присвоением ему имени основателя железных дорог в России. Это предложение 22 июня 1896 г. одобрил царствовавший в то время Николай II.
Помещение выделенного здания оказалось недостаточно для музея, носящего имя императора. Вследствие этого, Государственным Советом было решено построить новое здание на принадлежащей ведомству путей сообщения казенной земле (Юсупов сад), главным фасадом на Садовую улицу. Также было принято решение направить в Музей имени императора Николая I экспонаты железнодорожного и водного отделов России с Всемирной технической выставки в Париже 1900 г.
Как отмечалось в десятом номере журнала «Вестник путей сообщения» за 1901 году среди прибывших с выставки экспонатов «особого внимания заслуживают следующие предметы: модель «Плезир яхты» императора Петра I, панорама Сибирской железной дороги (доктора Пясецкого), модели ледокола «Байкал», мостов через реки Волхов и Енисей, новой паровозной сборной мастерской Николаевской железной дороги».
2 июня 1901 года в присутствии министра путей сообщения состоялась закладка здания музея. Работами по возведению здания руководил архитектор П. С. Купинский.
6 декабря 1902 года в 2 часа дня состоялось освящение и открытие Музея ведомства путей сообщения имени императора Николая I.
В 1903 году Музей посетил император Николай II. Он подарил музею некоторые личные вещи Николая I, ряд моделей, в том числе модель паровоза Ростово-Владикавказской железной дороги с именной табличкой «С. И. Кербедз. 1894 г.».
