Lionardo e Lorenzo Buondelmonti, discendenti da una delle piu' antiche famiglie fiorentine, acquistarono, nel 1517, l'antica abitazione degli Scudi e la trasformarono in palazzo limitandosi, tuttavia nella costruzione alla sola bella facciata (attribuita a Baccio d'Agnolo) che rivesti' gli edifici preesistenti e che, a detta del Vasari fu abbellita da una decorazione (ora perduta) con Storie di Alessandro Magno eseguita, su disegno di Andrea del Sarto, da Jacopo di Francesco, detto Jacone.

     ll palazzo di proprieta dei Buondelmonti fino al 1787, e' tuttavia noto per essere stato la residenza fiorentina del mercante di origine ginevrina Giovan Pietro Vieusseux che abito' il primo e il secondo piano.dell'edificio dal 1819 al 1863 istituendovi, nel 1820, il celebre Gabinetto Scientifico e Letterario, alla cui memoria e' stata posta la targa in facciata.