При графах Шереметевых дворец был местом встреч выдающихся музыкантов, деятелей культуры и науки. С 1990 года дворец — один из филиалов Санкт-Петербургского государственного музея театрального и музыкального искусства. Коллекция музыкальных инструментов Шереметевского дворца насчитывает более трех тысяч инструментов и является одной из пяти крупнейших в мире и лучшей в России. Экспозиция музея также включает в себя рассказ о истории семьи Шереметьевых, коллекцию картин и предметов декоративно-прикладного искусства 18–19 столетий.
В состав музыкальной коллекции входят инструменты, созданные знаменитыми западноевропейскими и русскими мастерами 16–20 веков; мемориальные инструменты композиторов русской школы 19–20 столетий; коллекции, принадлежавшие императорской семье Романовых; уникальный русский роговой оркестр; музыкальные инструменты всех континентов мира.
Во дворце проводятся художественные выставки, концерты и лекции.