Primitiva fortaleza musulmana construida por orden del caid Isma’il ben Musa al-Qasit después de la conquista de Lleida. El edificio fue testimonio de la ceremonia de la boda del Conde de Barcelona, Ramón Berenguer IV y Peronella, hija del Rey de Aragón, boda que conlleva la unificación de la Casa de Barcelona y del Reino de Aragón.
Se convirtió en Castillo Real en el siglo XIII. Desde el año 1031 hasta el 1036, la Suda sirvió de refugio al último califa de Córdoba, el destronado Hisham III. Del castillo medieval quedan en pie sólo algunos restos del recinto de la antigua fortaleza.