Attribuito all'ambito di Baccio d'Agnolo e costruito dopo la demolizione delle vecchie case dei Velluti, dei Miglion, del Ridolfi e di alcune botteghe dell'arte della Lana, l'attuale palazzo venne edificato nei primi decenni del Cinquecento per volere del senatore Giovanni Francesco Ridolfi e della consorte Camilla Pandolfini.

     Venduto nel 1756 a Maria Lucrezia Firidolfi, l'edificio passo', per successione ereditaria, alla famiglia Ricasoli, che dal 1920 lo abita ancora oggi.

     Dell'imponente complesso, il cortile a probabilmente l'elemento piu' intenso e suggestivo.
Esso, suddiviso in tre lati a portico e uno a semivolte con un arco a sbarra, si contraddistingue per una severita formale scevra da elementi decoratiivi e per un'armonia tipicamente fiorentina.

     Del palazzo meritano, inoltre, una particolare menzione, una cappellina del Cinquecento, varie sale affrescate con soggetti biblici nel Settecento e il salone decorato dal pittore Pietro Rabbajati nel XIX secolo.