Inizialmente la chiesa era sede del Monte dei Morti, poi nel corso dell'800 si affermò in modo accentuato il culto verso Sant'Anna patrona delle partorienti, tanto che la chiesa di Santa Maria del Rifugio è tuttora conosciuta come di Sant'Anna. Essa è composta di un'unica navata: sull'altare maggiore campeggia la tela della Madonna del Rifugio tra i Santi Francesco d'Assisi e Antonio di Padova che intercedono per le Anime del Purgatorio. Ai lati dell'altare maggiore campeggiano in due nicchie le statue lignee dei Santi Cosma e Damiano, e di Santa Lucia. Sul lato destro della navata si trova l'altare di Sant'Anna, sul lato sinistro invece l'altare della Madonna della Pietà, ed un Crocifisso ligneo del '700. All'esterno della chiesa troviamo il campanile, dotato di tre campane della "Fonderia Pontificia Marinelli", ed il monumento alle vittime del bombardamento che colpì la città di Avellino il 14 settembre 1943, e trovò il numero maggiore di vittime proprio nella piazza del Popolo.

 

Avellino nutre una forte devozione per Sant'Anna, in modo particolare da parte delle gestanti e delle madri. Anticamente si svolgevano festeggiamenti civili e processioni in onore della santa. Nei tempi moderni la festa in onore della santa ha assunto solo un tono religioso che vede nei giorni precedenti alla festa lo svolgimento del triduo. Il giorno della vigilia, il 25 luglio, si ha la benedizione delle gestanti mentre il 26 luglio, giorno della festa di Sant'Anna, vengono celebrate messe dalle 6 del mattino, ogni ora, fino a mezzogiorno quando si recita anche la supplica in onore della santa. La sera il simulacro di Sant'Anna è portato in spalla nella piazza antistante dove viene celebrata la messa da parte del vescovo o di un suo vicario. Dopo l'ultima messa, avviene la tradizionale alzata del pannetto dell'Assunta nella vicina piazza della Libertà (la principale di Avellino), che segna l'inizio dei festeggiamenti religiosi e civili del Ferragosto Avellinese.