Lorenzo di Averardo Serristori canonico del Duomo, poi vescovo di Bitetto in Puglia, acquisto' nel 1498 un vasto terreno sul renaio per costruirvi ''una casa con orto''. Il renaio era quel vasto spazio lambito dall'Arno, su cui si accumulavano i detriti trasportati dal fiume, invaso dalle acque, solo in caso di piena.
     La casa doveva essere piccola e di poco prestigio, ma il giardino e' citato da Benedetto Dei, alla meta' del Quattrocento, come uno dei maggiori della citta. Nell'orto, inteso come giardino-famario si coltivavano ortaggi e frutti, e, come negli altri giardini signorili dell'epoca appare, oltre alla valenza decorativa, anche quella commerciale testimoniata dallo ''sportellino onde si vende''.
    Nel secolo XVI Averardo di Antonio Serristori, gentiluomo della corte di Cosimo I, trasformata la casa in palazzo, abbandono la dimora di famiglia in Santa Croce per trasferire la residenza ''sul renaio di S. Niccolo''.
    Dalla pianta del Bonsignori, del 1584 si rileva che il palazzo aveva gia una facciata ad angolo sul renaio, mentre la facciata principale, rivolta a sud, si apriva verso un ampio giardino a riquadri geometrici. La proprieta Serristori, dalla parte del fiume, era delimitata da una gora, che, partendo dalla pescaia a monte della porta San Niccolo, seguiva parallelamente il corso del fiume fino al ponte alle Grazie, ed azionava due grandi mulini.
    Alla meta del Seicento Antonio Serristori, governatore di Livorno, commissiono' a Gherardo e Pier Francesco Silvani la ristrutturazione del palazzo e del giardino; l'antico orto venne collegato con il fiume tramite un ponte sulla'' gora, un terrazzamento e una scaletta di accesso al greto del fiume.
     La descrizione di queste opere evoca l'immagine dell'Arno raffigurato da dipinti settecenteschi in cui si vede il fiume affollato di barche, di pescatori, di lavandaie e anche di bagnanti. Nel Settecento fu determinan￿te l'intervento di Ferdinando Ruggeri che, interrompendo l'assialita' dell'orto, realizzo' due grandi fontane contrapposte formate da bozze di spugne ''nicchie e scaglie di marmo'' opere di Giuseppe Giovannozzi: delle tante opere realizzate nel giardino queste due fontane sono gli unici elementi superstiti.
    Fra il 1803 e il 1806 l'ingegnere Giuseppe Manetti trasformo tutto il terreno che costeggiava la gora, organizzandovi viali, fontane e serre, ma soprattutto realizzo' l'elemento piu spettacolare: la cosiddetta ''passeggiata Serristori'': un vialetto pensile costruito su mensole a sbalzo sul muro della gora, che si concludeva nel ''Caffehaus'' (ambiente completamente arredato) elevato sopra una pigna del ponte alle Grazie. Alfredo Serristori trasformo il giardino in un bosco all'inglese di cui ancora oggi rimane traccia.
    Nell'ambito delle trasformazioni urbanistiche della fine del sec. XIX il Comune delibero' l'apertura di un lungarno sul renaio fra la porta S. Niccolo' e il ponte alle Grazie; scomparve cosi un angolo caratteristico: la gora, i mulini, ''la passeggiata'' e una parte del giardino furono demoliti. In seguito all'apertura del lungarno ''l'orto dei Serristori'' venne riportato nei limiti originari, precludendo definitivamente il magico contatto con il fiume. L'architetto Mariano Falcini, fra il 1866 e il 1873, costrui la facciata nord del palazzo.
    Il prestigioso palazzo ha ospitato personaggi d'eccezione: vi hanno abitato Gioacchino Murat, Gerolamo e Giuseppe Bonaparte e i Demidoff, prima di trasferirsi nella villa di S. Donato in Polverosa. Non ci fu personalita' di rilievo, di passaggio a Firenze, che non fosse ricevuta a Palazzo Serristori.
    Alla fine del secolo il senatore Umberto Serristori aggiunse agli arredi di famiglia la sua collezione personale, curo' il restauro del palazzo e in particolare del salone da ballo che fu inaugurato nel 1900 con un ballo rimasto memorabile: Il Palazzo, gravemente danneggiato, al piano terra, dall'alluvione del 1966, dopo la morte di Sofia Bossi Pucci nata Serristori e' stato venduto, gli arredi dispersi e i restauri, avviati, sono oggi sospesi per controversie inerenti la proprieta.