I1 palazzo venne acquistato nel 1571 da Don Luigi di Toledo, fratello della granduchessa Eleonora moglie di Cosimo I de' Medici, dall'Arte dei Mercatanti.
Passo' nel 1636 a Ortenzia Guadagni, che, con l'ausilio del fratello Tommaso, commissiono' al celebre architetto Gherardo Silvani la ricostruzione dell'intero complesso.

     Originalissimo nella sua formulazione architettonico compositiva, che deriva dalla distrutta villa medicea di Pratolino, l'edificio presenta una facciata con tre piani articolati, che creano intensi movimenti armonici in uno spazio ristretto, un androne per le carrozze e un suggestivo giardino, un tempo assai vasto, e ricco di vegetazione, che arrivava fino alle distrutte mura arnolfiane.

     Nel Sei Settecento l'immobile fu arricchito con importanti opere d'arte e decorato con vari affreschi, tra i quali ricorderemo il bellissimo San Martino che dona il mantello al mendicante, eseguito dal Volterrano intorno al 1654.

     ll ramo della famiglia Guadagni si estinse alla meta del Settecento e la proprieta' passo al principe Carlo Edoardo Stuart detto "il Pretendente", perche figlio di Giacopo Edoardo di Giacomo II, gia aspirante al trono d'Inghilterra e marito dell'affascinante principessa tedesca Luisa Stolberg, che da lui prese anche il titolo di contessa di Albany, e nota per essere divenuta l'amante di Vittorio Alfieri, che proprio in questo palazzo la conobbe per la prima volta.

     Nel 1788 il casino fu acquistato da Simone Velluti Zati, duca di San Clemente, che promosse nuove decorazioni; alla sua linea familiare e rimasto per molto tempo.

     'Da qualche decennio e' sede della Facolta di Architettura dell'Universita di Firenze.