II palazzo Pandolfini fu voluto da Giannozzo Pandolfini vescovo della citta di Troia nella Puglia e grande amico di due pontefici medicei, Leone X e Clemente VII, e costitui' Ia prima residenza signorile nella periferica via San Gallo.
     L'edificio sorge lungo la strada che conduce alla porta a San Gallo, un tempo immerso nel verde di orti e giardini, su modello dei palazzi di Bartolomeo Scala e di Giovanni Rucellai, rispettivamente in Borgo Pinti e in via degli Orti Oricellari.
     ll progetto del frabbricato risale, secondo il Vasari, a Raffaello, e rappresenta, insieme al palazzo Uguccioni in Piazza Signoria, un celebre esempio di architettura fiorentina del grande artista del Rinascimento.
     Al Sanzio si devono tuttavia soltanto i disegni, inviati da Roma, mentre i lavori vennero seguiti da Giovan Francesco da Sangallo.
     L'edificio venne costruito a partire dal 1516 su un antico oratorio dedicato a San Silvestro e su terreni che in precedenza erano appartenuti ai frati del convento di Monte Senario.