Несколько американских президентов посещали Ки Вест. Самым частым гостем был президент Гарри Трумэн, который совершил на остров 11 визитов и провел в Ки Весте в общей сложности 175 дней.

Дуайт Эйзенхауэр восстанавливался в Ки Весте после сердечного приступа. В ноябре 1962 года, спустя месяц после Карибского кризиса, президент США Джон Кеннеди посетил остров. 

На нем в разные годы жили многие писатели и артисты, однако чаще всего здесь бывали Эрнест Хемингуэй и Теннеси Вильямс. Именно здесь Хемингуэй написал «Прощай, оружие».

«Маленький Белый Дом» в Ки Весте служил зимней резиденцией для президента Гарри Трумэна. В 1991 году здание начало работать в качестве музея. В апреле 2001 года в «Маленьком Белом Доме» открылись переговоры президентов Армении и Азербайджана.

В январе 2005 года в «Маленьком Белом Доме» провели неделю бывший президент США Билл Клинтон и его супруга, сенатор Хиллари Клинтон.