Het museum werd in 1927 opgericht en was aanvankelijk ondergebracht in een van de Hoofdgebouwen van de Nederlandse Spoorwegen in Utrecht. De collectie omvatte voornamelijk afbeeldingen, documentatie en attributen. In de jaren dertig werden de eerste initiatieven genomen tot behoud van oud spoorwegmaterieel van historisch belang. Als gevolg van de oorlogsomstandigheden ging een deel hiervan alsnog verloren.

Na tijdelijk ondergebracht te zijn geweest in het Rijksmuseum te Amsterdam kon het museum in de jaren vijftig weer terugkeren naar Utrecht. Het in 1939 gesloten Maliebaanstation bleek een geschikte locatie. Na verbouwing kon het museum in 1954 zijn deuren openen. Er was hier veel meer ruimte om de collectie aan het publiek te tonen. Ook kon er nu historisch materieel opgesteld worden ter bezichtiging. Tot 2003 was de lange rij historische stoomlocomotieven langs het eerste perron het meest in het oog vallende deel van deze collectie.