Costruito nella prima meta del Cinquecento da Baccio D'Agnolo per Giovanni Bartolini Salimbeni, il palazzo, che faceva parte dell'estesa proprieta terriera di "Gualfonda" (o "Valfonda"), puo essere ritenuto una delle abitazioni periferiche piu' importanti entro le antiche mura della citta di Firenze.

     Alla morte del Bartolini Salimbeni, avvenuta nel 1544, l'immobile passa ai nipoti e da costoro a Chiappino Vitelli, valoroso condottiero e marito della poetessa Leonora Cibo. Pervenuto ai nipoti, Cosimo e Gabriello Riccardi, il fabbricato fu ristrutturato dall'architetto Gherardo Silvani, al quale si devono la facciata odierna, una nuova scala (ricavata da alcuni locali preesistenti) e la rielaborazione di vari ambienti interni. Al Silvani spettava, inoltre, la piazzetta per il rigiro delle carrozze oggi ridotta per l'allargamento di Via Valfonda e di cui l'unica traccia esistente e costituita dal Pratello Orsini.

     Alla meta dell'Ottocento, la proprieta, gia' passata ai marchesi Stiozzi Ridolfi, fu parzialmente confiscata dal governo per la costruzione della nuova linea ferroviaria Maria Antonia (Firenze Pistoia) e per l'edificazione di alcuni locali destinati alla stazione.
Negli stessi anni, a causa del passaggio dei binari che divisero la proprieta in due parti, sorsero, verso Via della Scala, le nuove vie Luigi Alamanni e Jacopo da Diacceto, mentre ulteriori appezzamenti del terreno furono utilizzati per la sede della Dogana, su Via Valfonda.

     Testimone di alcuni episodi della storia fiorentina, il palazzo ospito' nel 1600 i festeggiamenti per il matrimonio di Maria de' Medici con Enrico IV di Francia, celebrato per procura nella Cattedrale di Santa Maria del Fiore il 5 ottobre dello stesso anno. Per commemorare tale avvenimento fu decorata una preesistente grande sala rettangolare con volta a vela impostate su mezza crociera, nota comunemente come Sala degli Stucchi.

     Al centro del soffitto e raffigurato l'emblema araldico dell'Ordine dello Spirito Santo, allusivo al sovrano francese che ne era il gran maestro, e ai lati compaiono otto scene allegorico mitologiche dipinte ad affresco e inquadrate da rilievi di stucco finemente lavorati.
Pia in basso sono visibili dieci lunette raffiguranti alcuni momenti della sontuosa cerimonia su sfondi di ville di proprieta Riccardi (sei lunette furono eseguite da un artista finora anonimo nei primi decenni del Seicento, le altre quattro, rimaste incompiute, furono ultimate nel 1672 da Jacopo Chiavistelli).

     Questa sala ospito' la nota quadreria riccardiana, comprendente, oltre alle opere del Pontormo - Cosimo I giovinetto in vesti di alabardiere (Malibu, Paul Getty Museum), la Dama con il cagnolino (Francoforte, Stadel Institute) e Maria Salviati con il figlio Cosimo (Baltimora, The Walters Art Gallery) - , importantissimi dipinti della prima meta' del Cinquecento, che nel 1687 furono trasferiti nel palazzo mediceo di Via Larga (odierna Via Cavour) e che dopo la dispersione della collezione Riccardi avvenuta nel 1814, sono ora conservati nelle piu' importanti collezioni pubbliche e private del mondo.

     Tra le pitture piu significative, ancora oggi esistenti nel casino di Valfonda, meritano una particolare segnalazione l'Allegoria del mecenatismo di Jacopo Vignali, l'Aurora di Francesco Furini, i Cinque Putti di Bartolomeo Salvestrini, tutte databili intorno al 1631, i Cherubini con Ia croce del Volterrano (1678 circa) e le tre tele con le Allegorie della Pace, della Fama e della Fede Cattolica, del fiorentino Francesco Conti (1709).

     Attualmente il palazzo e quel che resta del suo famoso giardino sono di proprieta dell'Associazione Industriali della Provincia di Firenze.