Семейная роща была придумана императрицей Марией Фёдоровной в 1785 году. По случаю рождения детей и внуков, их бракосочетаний, юбилеев и других знаменательных событий императорской семьи следовало собственноручно сажать дерево, привязывая к нему дощечку с надписью, повествующей о событии, которому посвящено дерево. Площадь семейной рощи увеличивалась, ведь семья императора Павла I была многочисленной. В 1787 году в центре Семейной рощи была установлена Урна Судьбы, выполненная из зелёной устьянской яшмы.
Традиция существовала вплоть до 1917 года. После революции урна была разбита, а все мемориальные таблички сняты.
Впоследствии Урна Судьбы была воссоздана и в 2009 году установлена в Галерея Гонзаго в Большом дворце. Планируется, что после завершения работ по реставрации пьедестала, она будет установлена на первоначальном месте.