II palazzo, dall'aspetto di fortezza situato in via dei Bardi a difesa esterna del ponte a Rubaconte oggi ponte alle Grazie fu costruito dai Mozzi, ricchissima famiglia di banchieri di parte guelfa, che, tra il secolo XI e il XIII, aveva raggiunto una straordinaria potlenza economica, tanto da avere filiali in molte citta europee ed ottenere la carica di tesorieri pontifici.
     Nelle loro ricche dimore fiorentine (in origine le case erano diverse - una torre e' ancora ben visibile sebbene ridotta in altezza - riunite poi in unico grande palazzo, il piu grande del tempo), ricevevano prelati e cardinali di passaggio verso Avignone, allora sede papale.
     Nel 1273 fu ospitato anche il papa Gregorio X venuto a Firenze per ratificare una effimera pace tra le fazioni: pace che duro' pochi giorni, ma che dette il nome alla chiesetta sulla piazza: San Gregorio della Pace.
    Una delle caratteristiche che rendono singolare il palazzo e' il giardino che si inerpica sul retro fino alla Porta San Giorgio, seguendo il tracciato delle mura.
ll terreno, acquistato dai Mozzi alla meta' del secolo XVI, quando le loro fortune bancarie erano gia in declino, aveva carattere agricolo, essendo coltivato ad uliveto.
     All'inizio dell'Ottocento, quando la famiglia Mozzi Del Garbo si avviava verso l'estinzione, nella parte retrostante del palazzo fu sistemato un bosco di lecci e allori, secondo la moda del giardino romantico propria del tempo, mentre la parte verso la Porta San Miniato rimase coltivata ad ulivi.
    Alla meta' del secolo XIX il palazzo fu acquistato da Stefano Bardini che lo trasformo' in una galleria antiquaria di fama internazionale. ll Bardini fu un commerciante d'arte, ma anche un restauratore e manipolatore di mobili antichi: il suo palazzo e' stato definito la ''fabbrica dei mobili antichi''.
     Stefano Bardini sistemo' la sua abitazione nella villa superiore, nella chiesetta e nel convento di S. Gregorio della Pace, completamente trasformati, la galleria donata poi al Comune di Firenze per volonta' testamentaria nel 1922 nel palazzo l'atelier, e i laboratori artigiani dei falegnami, dei doratori, e degli stuccatori, antenati delle odierne botteghe dei restauratori di Oltrarno.
     Il giardino divenne cosi l'indispensabile completamento di questa residenza-laboratorio fraquentata soprattutto da collezionisti e direttori di musei stranieri. Le statue e i frammenti lapidei, dei quali il Bardini aveva fatto incetta durante le demolizioni del vecchio centro della citta, avevano un risalto particolare situati fra il verde e le piante fiorite.
     Nel 1983 la Soprintendenza ebbe in consegna 519 piante fra agrumi e azalee prove￿nienti dall'eredita Bardini, oggi ospitate nel giardino della villa di Castello.
    Stefano Bardini e suo figlio Ugo dettero un nuovo assetto al giardino con la costruzione di una loggia, nella posizione piu' favorevole per ammirare il paesaggio sottostante, e di una scenografica scalinata per collegare la loggia al palazzo. Naturalmente la loggia fu costruita secondo i sistemi del Bardini, cioe' ricomponendo gli elementi di una loggia appartenuta ad una villa nel Pistoiese.
    Ugo Bardini realizza anche un tortuoso viale che consentiva l'accesso al giardino alle automobili. In questo scenario incomparabile i Bardini ricevevano i loro ospiti e clienti. Purtroppo il testamento di Ugo, deceduto nel 1965, ha dato adito ad una lunga disputa che ha lasciato il palazzo e il giardino in stato di abbandono per tutti questi anni con conseguenze disastrose. Finalmente acquisito allo Stato dovrebbe essere destinato ad attivita culturali.