Construído como uma residência de verão, The Elms é uma das quase uma dúzia de propriedades cuidadas pela Sociedade de Preservação do Condado de Newport de Rhode Island. Foi projetado e construído em 1901. Modelado a partir do castelo francês d'Asnieres de meados do século 18 (c.1750) fora de Paris, custou à família Berwind aproximadamente $ 1,4 milhão para construir. (Chamando a Filadélfia e Nova York de lar, Edward Berwind fez fortuna na indústria do carvão.) Depois que a casa foi concluída, jardins elaborados foram plantados no início do século XX.
A casa permaneceu na família Berwind até 1961. A Sociedade de Preservação do Condado de Newport comprou o The Elms em 1962 e o abriu ao público. Em 1996, foi designado Patrimônio Histórico Nacional.