Il CONI fin dall'edizione di Londra del 1908, organizzò una propria struttura per raccogliere i rapporti ufficiali dei Giochi Olimpici e ogni altra documentazione all'epoca disponibile, quale patrimonio del nascente movimento olimpico. Nel  dicembre del 1933, fu costituita l'attuale Biblioteca Sportiva Nazionale, con il compito di "catalogare e tenere a disposizione degli studiosi, le pubblicazioni di ciascuna Federazione sportiva nazionale, nonché le opere di tecnica, di storia, di educazione, di letteratura, di arte, che tocchino anche direttamente i problemi che interessano lo sport."

Nel 1940, su iniziativa di Bruno Zauli, all'epoca Dirigente dei servizi di stampa e propaganda del CONI, venne riorganizzata l'emeroteca e con l'ausilio del prof. Raniero Nicolai - esimio poeta vincitore nel 1920 della medaglia d'oro ai Giochi Olimpici nelle competizioni delle arti, con la sua "Canzoni Olimpioniche" ("Olympic Songs") - vennero raccolte diverse riviste e volumi di pregevole interesse storico e culturale.

  
Nel dopoguerra, per volontà del Presidente del CONI Giulio Onesti, la Biblioteca incrementò il patrimonio con l'acquisizione di libri moderni, di vecchie pubblicazioni, di vari documenti, ma soprattutto di libri antichi. Nel 1950 fu pubblicato il primo catalogo a stampa.

La Biblioteca possiede oggi la più ampia ed esaustiva raccolta italiana, specializzata nello sport e nell'educazione fisica, composta da circa 35.000 volumi, tra cui un fondo antico, oltre 2000 testate di periodici, per metà italiani e per l'altra metà stranieri, nonché 39 quotidiani.