Valkoisen talon rakentaminen alkoi vuonna 1792 ja päättyi vuonna 1800, jolloin taloon muutti sen ensimmäinen asukas, presidentti John Adams. Muutama vuosi aiemmin Washington D.C:stä oli tullut Yhdysvaltojen pääkaupunki, ja sinne tarvittiin myös ”presidentinpalatsi”, jossa Yhdysvaltain ylin johtaja voisi sekä työskennellä että asua perheensä kanssa.
Uusi presidentinpalatsi ei kuitenkaan ollut kauan pystyssä, vaan jo vuonna 1814 brittiläiset sotilaat polttivat sen Yhdysvaltain ja Britannian välisessä sodassa.
Tunnistettavat portiikit eli pylväshallit rakennettiin vuosina 1824 ja 1829.
Valkoinen talo
- Pinta-ala: 5 100 m²
- Huoneita: 132
- Kerroksia: 6
- Henkilökuntaa: Noin 4 000
- Tyylisuunta: Uusklassismi
Alkuperäinen arkkitehti, irlantilainen James Hoban, korjasi rakennusta kolme vuotta, ja 1820-luvulla taloon lisättiin etu- ja takapuolelle kaksi avointa pylväshallia, jotka antavat Valkoiselle talolle sen erityisen leiman.
1800-luvun lopulla moni poliitikko vaati, että Yhdysvaltain presidentti tarvitsi suuremman asunnon, jonka yhdeksi osaksi Valkoinen talo jäisi.
Suunnitelmia ei koskaan toteutettu, mutta sen sijaan rakennus kunnostettiin perusteellisesti vuonna 1902, jolloin sinne rakennettiin mm. presidentin työhuone, ns. ovaali toimisto.