To właśnie w Key West prezydent Truman szukał miejsca do odpoczynku i relaksu. Kiedy przybył 33. prezydent, odkrył coś więcej niż spokojną wyspę - znalazł miejsce, które chciał nazwać domem.
Mały Biały Dom, zbudowany w 1890 roku jako kwatera dla dowódcy bazy marynarki wojennej i Paymastera, wcześnie zajął swoje miejsce w historii. W 1912 r. Prezydent William Taft odwiedził dom, aw 1918 r. Thomas Edison również mieszkał tam przez kilka miesięcy, pracując nad wynalezieniem nowej broni do działań wojennych.
W 1946 r. Mały Biały Dom stał się zimowym domem Trumana i pozostał w nim przez 175 dni. Zawsze w pracy prezydent odbywał różne spotkania w domu, spotykał się ze wspólnymi szefami sztabów i pracował nad planem Marshalla i doktryną Trumana. Miejsce tak wspaniałe, że Truman był znany z tego, że spędzał popołudnie w mieście lub na łowiskach wodnych z przyjaciółmi. Mówi się, że był przyjazny dla mieszkańców i pasował do stylu życia na wyspie.