La cattedrale ha origini molto antiche, edificata su resti di un tempio pagano romano. Secondo una leggenda, fu per intervento di sant’Ambrogio che le teste dei santi Nazario e Celso vennero traslate da Milano a Trivento nel 398. L’attuale edificio risale all’XI secolo. Una lapide oggi collocata in uno dei pilastri interni nei pressi dell’entrata attesta la consacrazione della cattedrale il 15 maggio 1076 e la sua dedica ai santi Nazario e Celso. La chiesa ha poi subito diversi rifacimenti, in particolare in epoca barocca e nel Settecento.
La facciata, in stile neoclassico, è del 1905; in essa si apre, nella parte inferiore, un portale con cornice e timpano, mentre nella parte superiore è un mosaico racchiuso in una cornice. La facciata è affiancata da una torre campanaria.
L’interno dell’edificio è a tre navate suddivise da pilastri che reggono archi a sesto acuto; ed è abbellito da stucchi settecenteschi. Sempre del XVIII secolo è l’altare maggiore (1743), il coro ligneo e le tele che si trovano nel presbiterio.
Di particolare valore storico-architettonico è la cripta, risalente all’XI-XII secolo e dedicata a San Casto. Un’iscrizione romana alla base di un pilastro con la dedica a Diana fa supporre che la cripta sia stata edificata su un antico tempio romano dedicato a questa divinità. L’ambiente è suddiviso dalle colonne di spoglio in sette piccole navate; è inoltre arricchito dalla presenza di affreschi del XIII secolo, da una statua lignea della Madonna in trono e da un bassorilievo in pietra raffigurante la Trinità fra angeli e delfini, dello stesso periodo. Scavi recenti hanno permesso di riportare alla luce resti di un battistero.