Noto per aver ospitato nel 1439 Giovanni VIII Paleologo, penultimo imperatore di Costantinopoli, giunto a Firenze con il suo seguito in occasione del Concilio per l'unificazione delle chiese greca e romana, il palazzo fu costruito per la facoltosa famiglia Ferrantini, estintasi alla meta del Quattrocento.

     Passato in eredita ai Caccini, l'edificio fu ampliato e ristrutturato alla fine del Cinquecento per volere di Giovanni Caccini, Provveditore di Pisa e omonimo del celebre scultore architetto fiorentino.

     La proprieta, rimasta alla famiglia Caccini fino alla meta del Settecento, pervenne ai del Vernaccia, e per breve tempo ai Riccardi. Ristrutturato nell'Ottocento dall'architetto Leopoldo Pasqui, mantenne inalterato il maestoso portale d'ingresso attribuito a Bartolomeo Ammannati, per poi passare in proprieta ai del Corona, ai Pasqui Cartoni e infine ai Geddes da Filicaia, odierni proprietari.

     Pur non conservando opere d'arte particolarmente importante, la fama di questo palazzo e' legata al suo giardino e alle cure ad esso prodigate da Matteo Caccini. Amico e corrispondente di Charles L'Escluse, noto botanico al servizio dell'imperatore Massimiliano II d'Asburgo a Vienna e in seguito a Leida, il Caccini coltivo nel suo giardino le piante piu' rare e i fiori piu' belli esistenti all'inizio del XVII secolo.

     Egli, pur non essendo uno studioso di botanica, fu un apprezzato collezionista di piante da fiore; la buona competenza e la reputazione di ottimo coltivatore furono note alle personalita piu' celebri di questa scienza.