In via della Scala, strada a quel tempo periferica, percorsa da viandanti e pellegrini, sorse nel 1337 un ospedale, fra quello antico della Scala e quello di San Paolo dei Convalescenti, in piazza Santa Maria Novella. Fu fondato e mantenuto dalla famiglia de' Michi, come ospedale-alloggio di pellegrini con l'obbligo di prestare assistenza agli infortunati. Poiche i "fratelli" usavano barelle, invece delle gerle, come era in uso alla Misericordia, fu detto dei Barelloni, soprannome che e' rimasto sempre nell'uso, anche dopo il 1504 quando l'ospedale cesso' l'attivita'. Fino da allora sull'angolo fra via della Scala e via del Porcellana esisteva una piccola chiesa dedicata, a San Jacopo il protettore dei pellegrini e a San Filippo.

     Nel 1587 Vittorio Dell'Ancisa, un sacerdote in fama di santita, accoglieva ancora pellegrini nel convento che aveva chiamato con il nome significativo di "Carita", ma dopo il 1589 ospita anche "fanciulle povere ed oneste. Era coadiuvato in questo operato dalle suore oblate dette Stabilite perche al momento di pronunciare i voti, oltre a quelli consueti, facevano anche quello di vivere e morire nello stesso luogo e qui le Oblate nmasero fino alla soppressione del 1808. Per le Stabilite, nel 1626, Matteo Nigetti ristruttura il piccolo oratorio come si vede ancora oggi. ll modesto vano fu scandito con cornici di pietra serena che delimitano lo spazio delle pareti, degli altari laterali, e, al di sopra di questi, la fascia continua di rigiro sui lati dell'oratorio, include gli affreschi.

     La decorazione pittorica, formata da dieci pannelli, raffiguranti le opere di carita', molto anneriti dal tempo e dal fumo, sono attribuiti a Cosimo Ulivelli. Sull'altare laterale di sinistra si trova un quadro, di maniera fiorentina, della prima meta del secolo XVII, raffigurante la Vergine col Bambino in gloria, mentre su quello di destra si trova un Crocifisso del secolo XVI.

     Sull'altar maggiore fu collocata nel secolo XIX una tela raffigurante la Concezione, e anche con il nome di Concezione fu indicato l'oratorio in quel tempo. Nel 1808, in seguito alle soppressioni dei conventi, gli ambienti dell'ospedale, che occupavano tutto l'isolato fra via della Scala e via del Porcellana, furono venduti a privati e sistemati ad abitazioni prima, ad albergo oggi. Durante queste trasformazioni fu modificato il tetto dell'oratorio e ridotto a copertura piana per la sopraelevazione di due piani. Chiuso per molti anni, l'oratorio e stato ria￿perto nel 1985 dai Cavalieri dell'Ordine Equestre del Santo Sepolcro, i quali ne hanno fatto la propria sede in Toscana.