Construit comme résidence d'été, The Elms est l'une des près d'une douzaine de propriétés entretenues par la Preservation Society du comté de Newport du Rhode Island. Il a été conçu et construit en 1901. Inspiré du château français d'Asnières du milieu du XVIIIe siècle (vers 1750) à l'extérieur de Paris, il a coûté à la famille Berwind environ 1,4 million de dollars à construire. (En appelant à la fois à Philadelphie et à New York, Edward Berwind a fait fortune dans l'industrie du charbon.) Une fois la maison terminée, des jardins élaborés ont été plantés au début des années 1900.
La maison est restée dans la famille Berwind jusqu'en 1961. La Société de préservation du comté de Newport a acheté The Elms en 1962 et l'a ouverte au public. En 1996, il a été désigné monument historique national.