Arrocato su uno sperone roccioso a 821 metri s.l.m., anticamente Elcito era un castello sorto a picco sulla Valle di S.Clemente a difesa del monastero di Valfucina e della valle stessa alle pendici del monte S.Vicino.
Non si hanno notizie certe sulla sua fondazione ma, sembra sicuro il rapporto di dipendenza dal monastero già da molto tempo prima delle notizie documentarie che partono dal 1232.
Gli elcitani erano sottomessi a Valfucina; la loro era una dipendenza nei beni e nelle persone: il monastero, infatti, domandava prestazioni e deteneva il potere giuridico; lo stesso abate abitava nel castello. Data l'insostenibile situazione, nel 1298 gli abitanti richiedono la concessione della libertà dal dominio del monastero.
Il castello per la sua posizione strategica viene lentamente assumendo una notevole importanza nella politica espansionistica attuata dall'abbazia, i domini della quale si spingevano nei territori di Cingoli, Matelica, Osimo e Recanati.
Ebbe quindi inizio una disputa per i diritti sul paese tra il comune di S.Severino e il monastero di Valfucina che, sfocerà in un lungo processo (1278-79) dagli atti del quale si viene a conoscenza del crollo della torre del castello. Dopo la sentenza di appello del 1281, Elcito torna proprietà dell'abbazia, come dimostra la già citata richiesta di libertà fatta dagli abitanti.
Nel 1298 in coincidenza della perdita di importanza di Valfucina, il castello viene venduto a S.Severino, tuttavia, già dopo pochi anni e nei secoli seguenti diverse e prolungate liti intercorsero tra il monastero e gli abitanti del piccolo centro.
In epoca moderna, Elcito ebbe ancora un'importanza per la sua posizione strategica nella guerra partigiana; fino alla recente costruzione della strada, infatti, l'unica via d'accesso al paese era il sentiero, ancor oggi visibile, che scende sotto all'antica porta del castello.
Attualmente rimangono poche tracce della costruzione medioevale: qualche tratto di mura e la porta d'accesso sottostante la chiesa parrocchiale; nulla resta della torre anche se l'aspetto è ancora quello della magica fortezza.

Nei pressi, importanti dal punto di vista naturalistico, i magnifici piani di Canfaito, a circa mille metri, ampio altopiano ricco di secolari faggete e il monte San Vicino (1476 m).
L'origine del nome Elcito è legata alla pianta del Leccio (Quercus ilex) che in tempi non troppo lontani doveva popolare in gran quantità le rupi calcaree della gola sovrastata dal paese.
Il Leccio, attualmente, è la pianta caratteristica della macchia mediterranea. Il suo areale si espande o si contrae in funzione delle oscillazioni climatiche. Nei periodi postglaciali più caldi, probabilmente tra i 10000 e i 7000 anni avanti Cristo, la specie colonizzò anche gli Appennini.
Quando divenne più freddo solo gli esemplari che vegetavano sulle rupi calcaree esposte a sud e all'interno delle gole con microclima adatto riuscirono a sopravvivere. Le leccete interne marchigiane, che si differenziano da quelle costiere, fanno parte dell'associazione Cephalanthero-Quercetum ilicis