La concattedrale, risalente al VI secolo e trasformata nel XII, ha subito massicci restauri all'epoca del vescovo Giuseppe Pannilini, dal 1775 al 1822. Successivamente fu radicalmente ristrutturata negli anni 1887-1894 sotto la direzione di Giuseppe Partini. Questi ultimi lavori portarono tra l'altro al rifacimento della facciata, preceduta da un protiro dorico che si distingue per l'impostazione architettonica che unisce caratteri paleocristiani romani a motivi bizantino-ravennati.

 

Gli scavi eseguiti negli anni settanta nella zona del presbiterio hanno fatto emergere un edificio sottostante all'attuale, sorto sui resti di una costruzione più antica. Si tratta di una basilica a tre navate con pilastri quadrangolari, le pareti ad intonaco dipinto e il pavimento a mosaico databile tra la fine del IV secolo e l'inizio del V. La concattedrale fu poi riedificata alla metà del VI secolo, recuperando in parte gli elementi architettonici dell'antica basilica.

 

L'esterno della concattedrale si caratterizza per il suo campanile isolato, costruito nel 1585 trasformando una torre di difesa. Sotto la torre, a circa 12 metri di profondità, si trova una piscina romana del I secolo a.C. costituita da due ambienti con volta a botte.

 

L'interno è di forma basilicale con tre grandi navate divise da diciotto diverse colonne recuperate da costruzioni più antiche, forse romane. Le colonne, in marmo e travertino con capitelli in diversi stili, ricordano la primitiva edificazione paleocristiana cui seguì la ristrutturazione rinascimentale e poi quella ottocentesca. Sulla terza colonna di sinistra è inciso il nome del vescovo Florentino, permettendo di datare l'edificio al 558-560. Al di sopra delle arcate si aprono otto grandi finestroni per parte.

 

Le navate furono riaperte durante i lavori eseguiti tra il 1884 e il 1894. Le pareti della navata centrale, parte della controfacciata e l'abside sono stati dipinti a finto mosaico in stile ravennate e romano dal senese Arturo Viligiardi alla fine dell'Ottocento. Secondo un complesso programma iconografico, nella navata centrale sono raffigurati a sinistra e a destra due teorie di sante e di santi martiri sepolti nelle catacombe clusine o legati alla vicenda storica di Santa Mustiola. Il dipinto dell'abside, ispirato ai mosaici della basilica di Santa Maria Maggiore a Roma, è datato 1892, quello a destra raffigura la Martire Orsola (1894), mentre quello a sinistra raffigura Santa Caterina d'Alessandria.

 

A sinistra ed a destra della porta d'ingresso centrale sono due epigrafi fatte scolpire da Sinebuto, successore del vescovo Montano (731-740). Entrando, subito a destra si trova una edicola dipinta da Arturo Viligiardi, sostenuta da due colonne di fattura romana che provengono dalla distrutta chiesa di Santa Mustiola e già appartenenti al ciborio eretto dal duca Gregorio nel 728 circa. All'interno è una vasca monolitica in marmo che forma il fonte battesimale sormontato dalla statua di San Giovanni Battista. Nella navata sinistra è la tomba di santa Mustiola, formata da un'urna in pietra in cui furono posti nel 1474 i resti della santa, insieme all'antica urna fittile, dopo che il corpo stesso fu esumato dal sepolcro del V secolo posto dietro l'altare maggiore della distrutta chiesa di Santa Mustiola. Le due colonne e le pietre in travertino del cenotafio sono materiale di reimpiego provenienti da Santa Mustiola.

 

Nel 1785 fu eretto il nuovo altare maggiore che doveva ospitare l'urna di Santa Mustiola, altare poi trasferito negli anni settanta in sagrestia per consentire gli scavi nel presbiterio. Dell'originario altare restano probabilmente i due frammentari elementi architettonici in pietra conservati ai lati del portale maggiore. Nel presbiterio si trova il coro in legno intagliato del 1660. La cappella del Santissimo Sacramento, che si apre nella navata sinistra, fu costruita nel 1801; vi si trova la pala con l'Adorazione del Bambino tra i santi Secondiano e Girolamo, del senese Bernardino Fungai (primi anni del XV secolo).

 

La cappella della Madonna si apre nella navata destra. Fu in origine dedicata a santa Caterina da Siena e fatta costruire dal vescovo Alfonso Petrucci, che sotto il pavimento volle la sua sepoltura. L'affresco sull'altare è opera di Arturo Viligiardi e raffigura Santa Caterina che impara miracolosamente a leggere (1893).

 

Sulla cantoria in controfacciata si trova l'organo a canne, costruito da Giosuè Agati nel 1814 e successivamente più volte modificato; a trasmissione integralmente meccanica, dispone di 24 registri ed è racchiuso all'interno di una cassa lignea di semplice fattura geometrica, con mostra composta da canne di principale disposte in un'unica cuspide con ali laterali.