Foi em Key West que o presidente Truman veio à procura de um lugar para descansar e relaxar. Quando o 33º presidente chegou, ele descobriu muito mais do que um refúgio pacífico na ilha - ele encontrou um lugar que queria chamar de lar.
Construída em 1890 como quartel-general para o comandante da base naval e o Paymaster, a Pequena Casa Branca tomou seu lugar na história desde o início. Em 1912, o presidente William Taft visitou a casa e, em 1918, Thomas Edison também viveu lá por vários meses enquanto trabalhava na invenção de novas armas para o esforço de guerra.
Em 1946, a Pequena Casa Branca se tornou a casa de inverno de Truman e ele passou a ficar por 175 dias. Sempre trabalhando, o Presidente realizou várias reuniões em casa, reuniu-se com os Chefes de Estado-Maior Conjunto e trabalhou no Plano Marshall e na Doutrina Truman. Um cenário tão magnífico que Truman era conhecido por passar uma tarde na cidade ou na água pescando com os amigos. Dizem que ele era amigável com os habitantes locais e se encaixava no estilo de vida da ilha.