La chiesa sorge dove un tempo c'era la cappella di San Giovanni Battista, di proprietà della famiglia De Majoribus, che abitava la casa confinante.

La cappella di San Giovanni Battista, fu demolita con la casa dei De Majoribus, perché era rimasta abbandonata da quando questi si estinsero. L'occasione fu il ritrovamento di una immagine miracolosa della Madonna delle Grazie.

Scrive Pietro Petrarolo a pag 88 del suo libro Andria, dalle origini ai tempi nostri, Sveva Ed, Andria,1980:
"Durante il suo ducato [Fabrizio III Carafa] e l'episcopato di mons. Franco avvenne la scoperta dell'immagine della Vergine, detta Mater Gratiae. Accanto alla torre dell'orologio, a via Corrado IV di Svevia, vi era una Cappella della nobile famiglia De Majoribus, per la cui estinzione fu abbandonata; in essa, il 1624 una donna, di nome Dorotea Vangella, ebbe in apparizione, l'immagine della Vergine, dipinta in quella Chiesa dedicata a S. Giovanni Battista, ma ormai coperta di ragnatele. A questa scoperta è legato il miracolo di un cieco, che riacquistò la vista, suscitando una tale devozione di popolo che, dalle oblazioni e dalle offerte, si costruì l'attuale Chiesa di S. Maria Mater Gratiae."