La versión más comúnmente aceptada está basada en los siguientes hechos: Con la llegada de los Almohades en el año 1.151, se destruyeron muchos templos, y entre ellos una ermita mozárabe edificada en el arrabal de la Churra en Baza.
Tres siglos más tarde, uno de los caballeros que acompañaban a Fernando el Católico, Don Luis de Acuña Herrera, decidió levantar en este lugar la Iglesia de la Merced.

      En el año 1.490 se iniciaban las obras, cuando uno de los obreros, Juan Pedernal, de origen accitano, picando en la demolición de un yesón, oyó sorprendido que de aquella oquedad salía un dulce y lastimoso grito que parecía venir de las entrañas de la tierra, y que decía "¡TEN PIEDAD!". Había encontrado la talla de una Virgen, la cual recibiría desde entonces el nombre de Nuestra Señora de la Piedad, en alusión a la expresión.