Se levanta sobre el territorio cedido en 1161 por Albert de Castellvell, de acuerdo con Alfonso I, a Pere del Montsant y los suyos, para dedicarse a Dios y construir allí un monasterio, pero el intento no tuvo éxito. En 1176 se volvió a intentar y de nuevo fracasó.

En 1210, el Arzobispo Ramón de Rocabertí cedió el lugar a Pere y Guillema Balb, que establecieron una comunidad cisterciense femenina que en 1215 se trasladó a Bonrepòs. La imagen, una Virgen encontrada, según la tradición, ha sido siempre objeto de mucho culto en toda la comarca. En 1557, 1689, 1691 y 1717 se hicieron importantes rogativas contra la sequía o la peste.

En 1741 parece que se reconstruyó, en parte, el edificio.

Cerca de la ermita que dependía de Escaladei habitaban ermitaños y cada lunes de Pascua se hacía una romería. En 1810 los franceses prendieron fuego en aquel lugar. En 1835 quedó abandonada y en ruinas. La imagen titular se trasladó a Albarca, mientras que el Santuario se transformó en corral.

A finales del siglo XIX la capilla fue restaurada por Ramona Ballester, de Cornudella, pero la imagen seguía guardada en Albarca en 1914. En 1936 de nuevo fue destrozada.

Es un edificio de una única nave, con un arco apuntado, espadaña y sin ábside.

Hace unos cuantos años se destruyó el porche que hay enfrente del portal. En el portal se encuentra el escudo de Escaladei y la fecha es de 1742.