Valkoisen talon rakentaminen alkoi vuonna 1792 ja päättyi vuonna 1800, jolloin taloon muutti sen ensimmäinen asukas, presidentti John Adams. Muutama vuosi aiemmin Washington D.C:stä oli tullut Yhdysvaltojen pääkaupunki, ja sinne tarvittiin myös ”presidentinpalatsi”, jossa Yhdysvaltain ylin johtaja voisi sekä työskennellä että asua perheensä kanssa.
Uusi presidentinpalatsi ei kuitenkaan ollut kauan pystyssä, vaan jo vuonna 1814 brittiläiset sotilaat polttivat sen Yhdysvaltain ja Britannian välisessä sodassa.