Il Santuario deve il suo nome al Pontelungo, il ponte realizzato in epoca medievale o tardo romana a dieci arcate. Già prima dell'anno mille qua sorgeva un Ospizio, probabilmente in primo ospedale di Albenga, dedicato all'assistenza dei pellegrini e dei malati, con una cappella dedicata a S. Mariare Pontis Arociae, officiata dai monaci benedettini del Monastero dell'Isola Gallinara. Ad oggi dell'antico ponte romano rimangono visibili parte della pavimentazione stradale e alcune tracce delle arcate.

 

Secondo le fonti storiche locali fu una primitiva comunità cristiana ad erigere un piccolo ospizio, utile ai viandanti e ai pellegrini per il riposo, e una cappella officiata dai monaci benedettini del monastero dell'isola Gallinara. Proprio la vicinanza con l'attraversamento romano fece sì che tale cappella assunse l'antica denominazione de Ecclesia Sanctae Mariae Pontis Arosciae (chiesa di Santa Maria in capo al ponte sull'Arroscia).

 

Intorno al 1250 l'ospizio, grazie alle numerose donazioni-lasciti di famiglie nobili e all'opera dei monaci, fu ingrandito e trasformato in un ospedale; nello stesso periodo l'edificio religioso assunse l'attuale denominazione di chiesa di Pontelungo. Nel 1330 entrambe le strutture divennero proprietà della locale diocesi di Albenga e fu nel 1500 che l'ospedale venne definitivamente chiuso.

 

Nel 1502 venne donato da Genova, nelle mani del commendatore Gian Battista Campofregoso, il trittico raffigurante la Madonna col Bambino e i santi Giovanni Battista e Sisto papa del pittore Giovanni Barbagelata. Nel 1715, grazie alla donazione degli abitanti e del municipio albenganese, furono commissionati i lavori per la nuova chiesa che nel 1722 fu completata. In seguito verranno effettuati altre aggiunte e modifiche al coro, al presbiterio e alle cappelle laterali.

 

Dal 1886 sino al 2005 il santuario, divenuto in seguito diocesano, fu gestito dai Frati Minori Francescani che passarono il testimone in quell'anno ai Frati Francescani dell'Immacolata.

 

La leggenda saracena trae origine da un vero e documentato fatto storico avvenuto il 2 luglio del 1637. In tale ricorrenza - il 2 luglio vi si celebra la festività della Madonna di Pontelungo - mentre gli abitanti di Albenga erano impegnati nelle celebrazioni religiose, la vicina Ceriale venne assaltata dai pirati saraceni culminante con l'uccisione di trenta persone e il rapimento di quasi trecento persone.

 

Dopo la devastazione di Ceriale i pirati si incamminarono verso Albenga, con l'ovvia intenzione di ripetere il massacro, ma come asserisce la leggenda popolare furono abbagliati da uno strano splendore proveniente dal santuario; i saraceni, spaventati, rinunciarono all'impresa e tornarono alle loro navi.

 

All'interno del santuario è conservato un trittico del pittore Giovanni Barbagelata, donato da Genova. Tale dipinto ritrae la Madonna con il Bambino Gesù, quest'ultimo tenuto sulle ginocchia e con una colomba simbolo di pace, dove nella mano della Vergine viene rappresentato il frutto di un melograno; il frutto rappresenterebbe l'abbondanza di grazie dalla Madonna riversate agli uomini. Nel trittico sono inoltre raffigurati, ai lati, i santi Giovanni Battista e Sisto.

 

Grazie alla devozione dei fedeli verso l'immagine mariana a partire dal 1618 si celebra annualmente il 2 luglio la festa della Visitazione. Il dipinto fu il 22 dicembre 1722 incoronato all'interno della cattedrale di Albenga e in seguito trasportato in processione dagli abitanti fino al santuario mariano.

 

Ogni anno in occasione della ricorrenza del 2 luglio, Albenga scende in strada per commemorare il salvataggio della Città. In quest'occasione viene organizzata un'importante fiera per via Pontelungo seguito alla sera dai fuochi pirotecnici, in ricordo del bagliore che salvò la città nel 1637. Nel pomeriggio viene fatta la santissima messa in onore della Madonna di Pontelungo con la processione per le vie della Città e la benedizione agli anziani presenti nell'Istituto Trincheri, clinica di riposo per anziani. A tale processione, oltre agli istituti religiosi e civili, partecipano le associazioni cittadine, le bande e le antiche confraternite, di cui la più importante è quella di Nostra Signora di Misericordia, l’unica confraternita rimasta nel centro cittadino.

 

Tale celebrazione è di rilevanza diocesana, in quanto la Madonna di Pontelungo è la santa patrona della Diocesi di Albenga-Imperia, oltre che della Città di Albenga.

 

Pontelungo è il nome dato al ponte realizzato in epoca medievale o tardo romana a dieci arcate lungo 150 m e largo circa 4 m, che superava la prima sede del fiume Centa. Il dubbio sulla sua realizzazione riguarda la struttura, dove le arcate sono ad arco falcato, una tipologia più medievale che romana. Vi si trova il conglomerato di Cisano, assieme a una pietra nera. Ci sono delle pietre che testimoniano un loro precedente utilizzato e poi usato come materiale di ripiego, la forma delle pietre è per lo più trapezioidale, dove il materiale utilizzato non è stato ben squadrato ne troppo lavorato. Si può presumere anche che possa essere la riedificazione di un ponte più antico di epoca romana crollato a seguito delle piene del Centa, di cui però non si ha traccia alcuna. A seguito della deviazione del Centa avvenuta nel tardo medioevo, con il passaggio definitivo a sud del Centro storico il ponte è andato in disuso e lentamente l'antico letto è stato riempito di vario materiale e ad oggi viene coltivato, facendo sparire completamente l'antico percorso. Alcuni scavi parziali hanno identificato la presenza di argini in pietra ai lati della struttura del ponte senza tuttavia che questa fosse messa in luce. Al di sotto passa ancora un rio che viene poi intubato nella vicina strada.

 

A 100 m dal Santuario è presente l'antica basilica paleocristiana dedicata al Santo milanese Vittore il Moro, che sorge sull'area della necropoli settentrionale di età romana imperiale, lungo l'antica Via Julia Augusta. Durante gli scavi per la realizzazione di una vasca per il carburante per una nuova pompa di benzina, vennero alla luce dei muretti, pertanto nel 1956 Nino Lamboglia con l'Istituto internazionale di studi liguri iniziò gli scavi mettendo in luce le fasi edilizie del complesso. L'edificio più antico è connesso a una necropoli romana con delle tombe alla cappuccina e un recinto funerario, di età imperiale. Nel VI-VII secolo vengono realizzati dei lavori di ampliamento e viene rifatto l'abside; al centro di questo è presente un cippo funerario romano come sostegno della base d'altare. Intorno all'anno mille il pavimento in battuto di malta fu sopraelevato nel settore absidale, l'ingresso principale venne tamponato e dotato di scala, la navata subì un restringimento con pilastri monolitici di recupero dai monumenti romani. Il complesso subisce più trasformazioni, fino alla distruzione o abbandono avvenuta nel XIV-XV secolo a seguito di un potente interro alluvionale. Venne quindi eretta una cappella quadrata e diversamente orientata, abbandonata nel XVII-XVIII secolo; di questa i ruderi vennero sacrificati per permettere gli scavi. La struttura era di 18x7 m con ingresso a Sud e un recinto che ospitava tombe alla cappuccina. Vennero rinvenute due iscrizioni funerarie del 515 e del 522: mentre la prima è andata perduta, la seconda è dedicata a una bambina Marina che morì a sette anni. E' conservata nella Sala dei Consoli nel palazzo vecchio del Comune.  Le due strutture erano collegate in età antica facendo parte dei territori extra moenia della città.