En 1652, Étienne Lantin (1610-1681), conseiller à la Chambre régionale des comptes, hérita de son père le terrain de la rue des Bons Enfants. Le premier document attestant de la construction date de 1663. L’exiguïté des lieux ne permit pas de construire entre cour et jardin. L’architecte (anonyme) conçut, peut-être pour compenser cette lacune, une cage d’escalier monumentale amplifiée par un dôme décoré en stuc qui fait l’intérêt architectural de l’édifice.
L‘élévation particulièrement sobre de la façade met en valeur l’appareil de pierre rose. Elle est rythmée par un alignement régulier de fenêtres, ordonné autour d'une imposante porte cochère d'esprit classique. La décoration se limite à l'alternance de frontons brisés ou en plein cintre et de consoles soutenant les frontons inspirés de l'Antiquité.
L'hôtel passa en différentes mains. En 1829, il fut acquis par Jean-Hugues Magnin, le grand-père des collectionneurs, qui le transmit à son fils Joseph (1824-1910) et sa femme Pauline Belloncle. Leurs deux enfants, Maurice et Jeanne, y vécurent jeunes, avant de gagner la capitale où leur père fut appelé à prendre des responsabilités politiques importantes lors de la chute du Second Empire. Ce sont eux qui constituèrent la collection et qui choisirent de la léguer et l’installer dans la demeure familiale.
Une transformation importante, mais réalisée avec un souci d’unité, fut l’adjonction en 1851 d’un étage aux écuries situées au fond de la cour, dans le style Louis XV. Lorsque l’idée d’un musée germa, des travaux d’aménagement visant à transformer les anciens communs en salles d’exposition furent confiés à Auguste Perret, auteur du théâtre des Champs-Élysées, qui y travailla en 1930-1931. Il installa un éclairage zénithal dans l’ancienne cour et tenta de concilier l’utilisation d’un nouveau matériau, le béton armé, avec l’architecture classique de l’hôtel.
