L'edificio venne eretto a partire dal 1319, quando i frati Francescani vi si trasferirono dal convento fuori le mura, andato distrutto da Federico II di Svevia. La struttura odierna della chiesa risale all'ultima modifica e ristrutturazione, avvenuta tra il 1494 e il 1497, ad opera dell'architetto lombardo Antonio di Pietro da Castelrotto che ampliò il piccolo cenobio minoritico, già esistente, a scapito del Palazzo dei Priori.

 

La facciata, che si apre su Piazza Caprera, prevede due portali d'ingresso. Il primo,in stile romanico, più piccolo, è pertinente alla prima fase costruttiva della chiesa, del 1319, quando i frati ottennero da Papa Giovanni XXII la licenza di costruire all'interno della città. L'altro, in stile gotico, più ampio e policromo, è stato costruito posteriormente, nel 1386.

 

L'interno ha l'aspetto di un'unica, vasta aula di metri 25 per 15, scandita in campate da cinque robusti arconi ogivali trasversali, secondo lo stile caratteristico umbro, e con tre nicchioni absidali.

 

Il chiostro, che si impostava ortogonalmente alla chiesa e che occupava parte della piazza venne demolito intorno alla fine del 1800.

 

L'edificio è stato interessato da due campagne decorative; la prima, quasi tutta improntata al gusto figurativo di Matteo da Gualdo e della sua scuola, prende avvio nel 1497 per concludersi probabilmente intorno al 1508; la seconda, iniziata intorno al 1530 e riguardante la parete opposta all'abside, è da porre in relazione con l'episcopato del camerte Varino Favorino ad opera di maestri marchigiani come Venanzo da Camerino e Piergentile da Matelica.

 

Nel 1863 la Chiesa fu confiscata ai frati e assegnata in proprietà al Comune.

Dopo decenni di usi impropri, nel 1957, la ex Chiesa di San Francesco venne restaurata e da allora ospita la Pinacoteca comunale.

 

Accoglie affreschi quattro-cinquecenteschi provenienti dal Duomo e opere di Matteo da Gualdo; un bel Crocifisso su tavola della seconda metà del XIII secolo, di Scuola umbro-marchigiana e il notevole Polittico dell'Assunta opera del 1483 di Nicolò Alunno.