L'hôtel Le Marois, dit aussi hôtel de Ganay, est construit en 1863 pour le comte Le Marois (1802-1870), fils du général Le Marois, aide de camp de Napoléon Ier, à l'emplacement, dit-on, d'une maison habitée par la courtisane Marie Duplessis (1824-1847), modèle de La Dame aux camélias d'Alexandre Dumas fils. Député de la Manche sous la monarchie de Juillet, sénateur en 1852, le comte Le Marois est à la tête d'une grande fortune et collectionne les tableaux anciens et modernes. Il abandonne son vieil hôtel de la rue Blanche pour venir s'installer dans le quartier des Champs-Élysées. Il fait bâtir l'hôtel de l'avenue d'Antin par l'architecte Henri Parent.
Le terrain sur lequel est édifié l'hôtel est d'une superficie de 1 700 m2. Selon la description du cadastre de 1863 : « Hôtel ayant entrée par deux grilles cochères et une porte simple sur l’avenue d’Antin. Il est placé entre une cour d’honneur et une arrière-cour. Composé d’un bâtiment principal avec façade de sept fenêtres. Double en profondeur, ayant aile à droite et annexes à gauche sur la deuxième cour. Élevé sur caves et terre-plein, le rez-de-chaussée, deux étages carrés disposés en magnifiques appartements, un troisième lambrissé pour logements secondaires ».
La demeure, terminée en 1865, reste propriété des Le Marois jusqu’en mars 1927, date à laquelle la comtesse Jacques-André de Ganay (née Le Marois), qui y avait tenu « un salon fort élégant », la vend à l’Association France-Amériques, fondée en 1909 par Gabriel Hanotaux.