A primeira referência sobre a existência de um acervo museológico na Escola de Música encontra-se na "Notícia histórica dos serviços, instituições e estabelecimentos pertencentes a esta repartição", publicada pelo Ministério da Justiça em 1898, onde está registrado que "o Instituto Nacional de Música tem um pequeno museu muito interessante e curioso; um gabinete de acústica regularmente montado, uma biblioteca pequena, um órgão de 16 pés de Wilhem Sauer, um pequeno órgão de estudo do mesmo autor e um instrumental para orchestra". A primeira catalogação das peças, que revela a constituição inicial do acervo, foi feita pelo compositor Joaquim Tomas Delgado de Carvalho (1872-1922) que havia sido nomeado bibliotecário do Instituto Nacional de Música em 1902, cargo que exerceu até o ano de 1907. Ao bibliotecário do Instituto cabia a responsabilidade pelo museu.

A organização do acervo seguiu a metodologia estabelecida pelo curador do Museu do Real Conservatório de Bruxelas, Victor-Charles Mahillon (1841-1924), que gerou anos mais tarde o sistema de classificação de instrumentos musicais estabelecido pelos musicólogos Erich Moritz von Hornbostel (1877-1935) e Curt Sachs (1881-1959), origem da moderna organologia. Os instrumentos foram divididos em quatro diferentes categorias: autofônicos, himenofônicos, dianemofônicos e cordofônicos. Além de instrumentos musicais o museu possuía também, em sua organização original, os setores de Mecânica (mecanismos de pianos, metrônomos, fonógrafos), Acessórios (surdinas, bancos, chaves de afinação, válvulas de extensão, peles, etc), Exposições Gráficas (documentos históricos) e Utensílios (batutas, medalhas, máscaras mortuárias, etc). Pela descrição do acervo original do museu podemos perceber e relação que o mesmo tinha com o acervo da biblioteca.

Outras duas catalogações foram produzidas em 1974 e 1990, revelando as peças que foram agregadas ao acervo e, lamentavelmente, as que foram perdidas.

O acervo atual é composto por instrumentos musicais de diversas culturas de todo o mundo, além de peças raras que remontam aos séculos XVIII, como um basset-horn em fá, e XIX, como uma flauta fabricada por Theobald Boehm (1794-1881), datada de 1867, e um oboé da manufatura de Fortunato Vinatieri (1807 - 1863).

Dezesseis diferentes países estão representados: Egito, Marrocos, Sudão, Java, Índia, Pérsia, China, Japão, Sião, Alemanha, França, Bélgica, Hungria, Estados Unidos, Portugal e Brasil.

Destacamos, por exemplo, o "Ine-Kin" da China, o "Darabukkeh" do Egito, o "Aktara" da Índia e "Meyura Vina", instrumento indiano em forma de pavão.