Het was in Key West dat president Truman op zoek ging naar een plek om te rusten en te ontspannen. Toen de 33e president arriveerde, ontdekte hij veel meer dan een vredig eiland, hij vond een plek die hij naar huis wilde noemen.
Gebouwd in 1890 als verblijfplaats voor de marinebasiscommandant en Paymaster, nam het kleine witte huis al vroeg plaats in de geschiedenis. In 1912 bezocht president William Taft het huis en in 1918 woonde Thomas Edison er ook enkele maanden omdat hij werkte aan het uitvinden van nieuwe wapens voor de oorlogsinspanning.
In 1946 werd het Kleine Witte Huis het winterverblijf van Truman en bleef hij 175 dagen blijven. De president was altijd aan het werk, hield verschillende vergaderingen thuis, ontmoette de gezamenlijke stafchefs en werkte aan het Marshall-plan en de Truman-doctrine. Een omgeving die zo prachtig is dat het bekend was dat Truman een middag in de stad of op het water doorbracht met vrienden. Er wordt gezegd dat hij vriendelijk was voor de lokale bevolking en goed paste in de levensstijl van het eiland.