Alagón contaba hasta hace pocos años, con tres conventos.El Convento de las Encerradas, fue derribado en 1978.El segundo el Claretiano de San Juan, conserva la iglesia barroca de ladrillo. El tercero, el de San Antonio, el más importante de los tres fue inicialmente colegio de Jesuitas. Proyectado a mediados del siglo XVIII por el padre Forcada posee una de las pocas iglesias de estilo rococó conservadas en Aragón.
El resto del edificio, actual Casa de Cultura, está concebido según los cánones de la arquitectura civil aragonesa de tradición mudéjar.El exterior, de ladrillo, está coronado por mirador de arquetes en la calle Judería y adintelado en la fachada principal, ambos con rafe de ladrillo aplantillado muy volado.En el interior destaca la soberbia escalera cubierta por cúpula gallonada, presidida por un fresco dedicado a la exaltación del nombre de Jesús, que, aunque atribuido a Goya, parece ser de Bayeu.