Philipp Franz von Siebold (1796-1866) werkte als arts in Deshima in de periode 1823-1830. Aangezien Von Siebold geen betalingen mocht ontvangen voor zijn werk als medicus werd hij regelmatig bedankt met giften van zijn patiënten. Deze geschenken vormden de basis van zijn verzameling. Von Siebold begon tijdens zijn verblijf op Deshima zo veel mogelijk te verzamelen. Zijn leerlingen intrueerde hij om diverse planten, dieren en zaden mee te nemen. Daarnaast huurde hij jagers in om dieren te verzamelen. Eenmaal terug in Nederland kwamen zo’n tienduizend objecten via zendingen aan op Nederlandse bodem. Al in 1831 stelde Von Siebold zijn collectie tentoon, dat deed hij in hetzelfde pand als waar nu Japanmuseum SieboldHuis is gevestigd: Rapenburg 19. Von Siebold woonde van 1832 tot 1845 in het huis en toonde er zijn veelzijdige collectie van lakwerk en keramiek tot fossielen, herbaria en geprepareerde dieren en van munten en oude landkaarten tot oude kleding.
