El origen de esta fortaleza está relacionado con la tribu islámica de los Zuwaga, que desde el Norte de África se diseminaron por buena parte de la geografía peninsular. Su ubicación elevada y rocosa le otorgó posteriormente el nombre de Miramontes. Multitud de restos y fragmentos obtenidos de sus inmediaciones han sido piezas determinantes a la hora de desvelar sus secretos, aunque otras fuentes escritas también nos ofrecen constancia de la valía que tuvo el enclave.
A mediados del siglo XII el geógrafo Al-Idrisi confeccionó un itinerario Córdoba - Badajoz, incluyendo el Castillo Miramontes de Azuaga como zona segura dentro de este recorrido. De otro lado, el primer documento sobre la fortaleza data de 1331 y hace referencia a la obligación que tiene el comendador de mantenerlo en buen estado.
Una vez fue reconquistada la localidad, el castillo pasó a convertirse en casa de la Encomienda, bajo la Orden de Santiago, abandonándose y sustituyéndose por otro edificio más cómodo y habitable algunas décadas después.
Desde 1400 no se había hecho ningún arreglo en los muros de la fortaleza, por lo que en 1494 estos se aprecian en malas condiciones: "todas las tapias comidas del ostigo del agua". En esta última fecha, se da orden a D. Luis Portocarrero, comendador de Azuaga, de reparar todo el castillo acometiéndose, a partir de entonces, obras de mantenimiento en los muros y de reestructuración en los interiores.
La fortaleza tenía una barbacana con su cava, cuya puerta estaba defendida por un cubo. La segunda puerta se encontraba en una torre que formaba parte de un muro almenado, delimitando un espacio adaptado a la configuración del terreno. Una tercera puerta se hallaba entre dos cubos, únicos vestigios que quedan de la edificación; ambos formaban parte de una barrera que defendía el recinto principal, donde estaba la torre del homenaje.
Pasada la segunda puerta había un corral que, a la derecha, tenía una caballeriza grande, de dos naves separadas por una arquería. Sobre ella se levantaban tres habitaciones destinadas para servicio de los mozos. En 1576 se divide la caballeriza y una parte de ella se emplea como bastimento de pan.
A la izquierda del citado corral se encontraba un huerto cercado y un cortinal que tenía dos aljibes. Junto al huerto estaba la casa del portero.
El último recinto de la fortaleza disponía de patio principal, situado en la cota más alta del terreno, y una serie de servicios. En el patio, se hizo una reestructuración de sus edificios a partir de 1486, fecha en que el comendador D. Luis Portocarrero hace de nueva planta la torre del homenaje.
Los arcos y pilares de los corredores eran de ladrillo y la columna del aljibe de mármol. Las techumbres del ala izquierda, a excepción de las bóvedas de la torre del homenaje, eran sencillos alfarjes de pino. Las habitaciones del ala derecha unas eran de pino, otras de castaño.
Entre 1576 y 1734 no hay prácticamente ningún dato documental aunque, a partir de esta última fecha, el castillo que señoreaba la villa de Azuaga entra en su fase de plena devastación: "se declaró hallarse muy arruinado, sin habitación alguna y sumamente imperfectas y demolidas sus torres y almenas...".
De tan ilustre monumento sólo se han conservado dos cubos, unas saeteras, restos de los muros de contención, así como los cimientos de alguna dependencia interior.
“Hoy en día y, gracias a las labores de excavación iniciadas por el último Taller de Empleo y continuadas por la Escuela Taller posterior, han quedado al descubierto zonas en las que podemos apreciar: un aljibe árabe, calzada romana, patio de armas,… y piezas como monedas, cerámica blanca de la época cristiana, cerámica verde de la época musulmana, vasijas de almacenaje, restos de la minería de plomo de la localidad, …”