Nel luogo dove oggi sorge la chiesa vi era un santuario pagano con una fonte che nel periodo etrusco-romano era consacrata ad Apollo, mentre nell'alto Medioevo era detta Fonte Tecta.

 

Nel 1425, san Bernardino tentò inutilmente di farla distruggere. Cacciato dalla città, egli vi tornò nel 1428 riuscendo però questa volta nello scopo e facendo costruire al posto della fonte un oratorio dove tra il 1428 e il 1431 Parri di Spinello dipinse l'affresco con l'immagine della Madonna della Misericordia, oggi inserita nell'altare marmoreo di Andrea Della Robbia (1487-1493). L'altare è un'opera inconsueta del famoso cermasita fiorentino e raffigura nel timpano una Madonna con Bambino tra due angeli, nelle nicchie i Santi Lorentino, Pergentino, Donato e Bernardino, mentre nel paliotto è rappresentata la Pietà.

 

Intorno al 1490 fu addossato alla facciata il portico progettato da Benedetto da Maiano. Si ispira all'Ospedale degli Innocenti di Brunelleschi. Sul lato lungo ci sono sette arcate con altrettanti medaglioni su un basamento a gradini. Importante è lo studio delle proporzioni: l'altezza della colonna e del pulvino è pari alla luce degli archi.

 

La costruzione della chiesa ebbe luogo tra il 1435 e il 1444: su disegno di Domenico del Fattore fu eretto un edificio tardo gotico, ad una sola navata, con volte a crociera e con abside poco profonda. Databile tra il 1477 e il 1481 è l'affresco con Papa Sisto IV in trono con il cardinale Gonzaga e il cardinale Piccolomini in atto di concedere l'indulgenza richiesta dai priori per i frequentatori del santuario, di Lorentino d'Andrea. Sul fianco destro, dopo la morte di san Bernardino (1444) fu aggiunta la cappella a lui dedicata.

 

Custodi della chiesa di Santa Maria delle Grazie sono i frati dell'ordine dei carmelitani scalzi che ne presero possesso nel 1695 e ne hanno mantenuto, salvo alcune interruzioni, la titolarità fino ai nostri giorni. Il 13 giugno 1786 il granduca di Toscana Pietro Leopoldo I decise di sopprimere il convento di Santa Maria ed i frati furono costretti ad andarsene il 24 agosto di quello stesso anno. Subentrò un cappellano della chiesa aretina di Santa Croce che vi rimase per circa due anni; successivamente fu lo stesso parroco di Santa Croce a stabilirvisi e a vendere la parte di convento non utilizzato a Donato Redi di Arezzo; anche il porticato che circondava il prato antistante la chiesa venne venduto al comune di Arezzo che provvederà alla sua quasi totale demolizione nel 1788. Detto porticato sarà solo parzialmente riportato alla luce e ricostruito negli anni '70 del 900. A seguito della morte di Pietro Leopoldo I e all'interessamento della popolazione aretina i carmelitani rientrarono in possesso di chiesa e convento il 21 gennaio 1793 e furono ricomprati i beni precedentemente venduti. Nel 1810 i carmelitani lasciarono di nuovo forzatamente il convento a seguito di un decreto napoleonico e ne restarono fuori per più di cinque anni. Dopo l'unità d'Italia i frati dovettero subire diversi tentativi di esproprio, ma riuscirono a mantenere la titolarità della chiesa.