Le vicende della costruzione dell'edificio, che rappresenta uno degli esempi piu' belli e significativi dell'edilizia privata del primo Cinquecento fiorentino, sono a noi note grazie a "Il libro della Muraglia", una sorta di diario in cui Giovanni Bartolini annota scrupolosamente tutte le fasi e le spese relative.

     Dal libro che rappresenta una vera rarita' nell'ambito della storia dell'architettura del periodo, sebbene sia noto che ve ne fossero di simili riguardanti i palazzi Ginori, Niccolini, Del Nero e Torrigiani sappiamo che nel 1519 si procedeva alla demolizione delle costruzioni precedenti e che nel 1520 Baccio d'Agnolo, che ne fu l'architetto, dava inizio ai lavori, ultimandoli nel 1523.

     L'edificio, che conserva intatte le sue caratteristiche originarie, e' di estremo interesse poiche' segna un momento di passaggio di fondamentale importanza fra l'architettura civile quattrocentesca e il palazzo del Cinquecento cosiddetto "alla romana".

     Novita' assolute sono infatti l'utilizzo contemporaneo di tutte e tre le pietre usate nel Rinascimento fiorentino (e cioe' la forte, la bigia, la serena), le membrature molto sporgenti, le colonne ai lati del portone, il rilievo dei due marcapiano, il cornicione, nonche' l'alternanza di nicchie e finestre al primo piano e di nicchie e incavi al secondo, elementi che creano zone di luce e di ombra inesistenti nei palazzi del Quattrocento e che, assieme ai frontoni triangolari sulle porte e sulle finestre, anticipano il piu' maturo stile romano.

     Rilevanti sono anche la facciata su Porta Rossa dalla bella disposizione delle finestre guelfe e dagli eleganti occhi del sottotetto, e il bel cortile interno, dove le decorazioni in pietra e graffiti raggiungono raffinati esiti di equilibrio e di armonia.