La chiesa, che conserva il suo originale aspetto romanico, nella sua forma attuale è stata eretta nel XV secolo, tuttavia conserva parte della struttura originaria nella piccola abside, protocristiana secondo alcuni studiosi locali.

 

Prima del IX secolo giunsero in zona, provenienti dall'abbazia di Nonantola, dei monaci appartenenti all'Ordine di San Benedetto, i quali eressero una cappella dedicata al protomartire san Vito, santo cristiano del III secolo il cui culto era popolare nell'ambito agricolo abbinato in seguito con quello dei santi Modesto e Crescenzia.

 

L'originale sacello, probabilmente sorto attorno a una cella monastica, filiazione del complesso benedettino di San Silvestro, venne realizzato con conci in pietra calcarea e riutilizzando frammenti di mattoni di epoca romana, aspetto che rimane visibile nella parte più antica dell'edificio attuale, la piccola abside orientata a levante. Gli storici locali, tuttavia, benché sia ovvia l'estraneità alla struttura ad aula unica del XIV secolo, avendo l'abside una dimensione sostanzialmente inferiore, non sono concordi nella datazione di tale elemento architettonico, reputato risalente per alcuni al periodo tra l'VIII e il IX secolo, per altri tra i secoli XII e XIII. Sempre della prima metà del Quattrocento è l'aspetto della facciata e del campanile a vela, datazione ricavata dalla presenza, scolpito sull'architrave del modesto portale d'accesso, di un bassorilievo rappresentante il monogramma di Cristo.

 

Alla metà del XVIII secolo, grazie ad un documento che attesta la visita del monsignor canonico Giuseppe Troncato, si conosce la dedicazione dell'oratorio e della famiglia che ne aveva cura, in latino: sub titolo S.S. Viti e Modesti de jure Nobb. Haeredum Pigafetta. In quell'occasione il prelato la descrisse brevemente come dotata al suo interno di un unico altare, in legno, e della presenza di immagini sacre, probabilmente ad affresco, e della necessità della loro ridipintura. Per ottemperare alle richieste del vescovo, qualche anno più tardi venne incaricato il vicentino Costantino Pasqualotto di dipingere una tela raffigurante i santi Vito e Modesto.

 

Alla fine del XX secolo il progressivo degrado dell'edificio, arrivato al crollo del tetto, venne interrotto dopo l'acquisizione del bene da parte delle istituzioni locali che, dopo l'avvio dei lavoro di restauro, venne inaugurata e riaperta al pubblico il 12 giugno 1994, benedetta dall'allora vescovo di Vicenza Pietro Giacomo Nonis in occasione della sua visita pastorale alla parrocchia di Lovertino.

 

L'edificio ripropone l'impostazione classica del tempo nella costruzione di edifici destinati al culto, pianta a navata unica e copertura a capanna, di gusto romanico, con orientamento est-ovest e facciata posta a ponente. Tutta la struttura è in muratura, con conci in pietra calcarea ricavata da cave in zona.

 

Quest'ultima è del tipo a vela, semplice e senza mondanature, con la parte centrale che integra l'unico portale, di semplice fattura, sormontato da un'oculo e le due altre finestre con arco a tutto sesto.

 

Privo di torre campanaria, la facciata integra un campanile a vela.