Il castello fortezza era "di forma bislonga e fabricato a guisa di un vascello [...] Federico II lo strinse anchora, e per renderlo del tutto inespugnabile, e lo fiancheggiò di alcune mezze lune e torrioni"; questo è quanto riportato nella relazione di Ardoini del 1674[7], ma al tempo in cui scriveva era "quasi distrutto e con la sola prospettiva di mura".
Nel 1036, alcuni ribelli milanesi che osteggiavano l'arcivescovo di Milano furono confinati a San Fele e, liberati da Corrado II, rimasero ivi a causa dell'epidemia che colpì Milano. Gli esuli milanesi si imparentarono con le popolazioni della vicina valle di Vitalba, formando le prime famiglie della città. Per porre fine allo scontro tra normanni e papato, San Fele ospitò Ruggero II e il papa Onorio II, ove iniziarono a stipulare i primi accordi di pace. Sotto la dominazione angioina, la città fu affidata ai feudatari Giovanni Gaulard, Drogone di Beaumont, Guglielmo di Melun.
Dal 1432 il feudo di San Fele fu amministrato da Troiano Caracciolo, 1º duca di Melfi, e dai suoi successori fino al 1613, quando subentrò la famiglia Doria, che mantenne la proprietà fino al 1811. Nel frattempo il terribile terremoto del 1456 aveva sconvolto San Fele, danneggiando la chiesa di Pierno.
Nel 1799 la popolazione innalzò l'Albero della libertà. L'euforia per la nuova era, la Repubblica Napoletana (1799), svanì presto e molti furono giustiziati.
All'indomani dell'unità d'Italia, tutta la zona fu coinvolta nel brigantaggio e famosi briganti come Giovanni Fortunato, detto "Coppa", Vito Di Gianni, detto "Totaro" e Francesco Fasanella, detto "Tinna", si distinsero come luogotenenti del famigerato capomassa Carmine Crocco.
Come tutti i paesi del Mezzogiorno, San Fele ha subito una forte emigrazione, che si può suddividere in due fasi:
- dalla seconda metà del XIX secolo al primo dopoguerra: in questa circostanza le mete erano oltre oceano, ossia l'America (in particolare Brasile, Argentina, Stati Uniti e Canada);
- dal secondo dopoguerra fino al giorno d'oggi: nei primi decenni, cioè quelli del boom economico, le famiglie si trasferirono soprattutto verso Svizzera (in particolare nei dintorni di Lucerna e Zurigo) Germania, Belgio e nord Italia (in particolare Piemonte, Lombardia e Toscana).
Tuttavia, ulteriori motivazioni che spinsero molti cittadini di San Fele ad abbandonare la propria terra e che presentavano carattere prettamente locale, generarono da due eventi geofisici di particolare gravità:
- le frane del 1968[8], che colpirono la parte nord orientale del paese spazzando via un cospicuo nucleo di case abitate;
- il terremoto dell'Irpinia del 1980, che lasciò senzatetto 634 persone, ovvero circa il 10% della popolazione[9];
Rilevante la presenza di Sanfelesi in Australia ed in particolare nella città di Sydney ove si contano ormai più persone (oltre 3000) rispetto al paese di origine.
L'emigrazione degli ultimi anni è costituita da giovani che raggiungono le più importanti città italiane (in particolare Torino, Milano, Firenze, e Roma)."