阿尔瓦·史密斯的家庭来自阿拉巴马州的莫比尔，“留意，是表面普通的史密斯小姐，”一位记者写道，但她爸爸妈妈的家庭都是当地和国家政府中的权贵。他们的棉花培养园里蓄有奴工。阿尔瓦·范德比尔特·贝尔蒙特 （Alva Vanderbilt Belmont） 在她的回想录中说，她的母亲“承继”了这些工人。她还记住一个名叫门罗的家丁，从前是她母亲的奴隶，在一家人从莫比尔搬到纽约后，阿尔瓦会和门罗一起去商场。她写道，她的母亲热心于给她自己和她的女儿们选择法国服装，特别是来自新奥尔良的奥莉姆普夫人（Madame Olympe） 的服装。阿尔瓦回想说小时候很厌烦自己走在“服装领域的前沿”，也不喜欢自己因为“头发特多”而备受注重。但是长大后，特别是在她的两次婚姻期间，她关于绮丽表面的热心十分明显。

　　尽管阿尔瓦童年时期曾在纽波特、法国、奥地利、意大利、比利时和德国度过夏天，但1875年左右她父亲的企业开端式微，那时候她才十几岁，她家的财富发生了改动。从那以后，她和威廉·基萨姆·范德比尔特都向阿斯特家族 （Astor） 和谢默霍恩家族 （Schermerhorn） 这些纽约老财阀寻求认可，并巴结报纸批改以成其所愿。这座四层石灰岩的房子的构思来自法国文艺复兴时期具有弗朗索瓦一世 （Fran?ois I） 风格的“小城堡 （petit ch?teau）”。这种成心的选择让人把它和法国王室联想起来，后来并被纽约的一些精英居处所效法，包括位于麦迪逊大道和第68街交口的亨利·G·马昆德（Henry G。 Marquand）宅邸。