
Durante el periódo musulman fúe el alcazar militar, aunque su aspecto actual responde a las reformas efectuadas en los siglos XIV y XV. Tras la invasión cristiana se convirtió en la residencia de los Duques de Arcos, en el Los Reyes Católicos recibieron la rendición del Reino Taifa de Marbella.
Sirvió de residencia a los reyes Taifas de Arcos durante la dominación musulmana. Junto a él se halla la única puerta que se conserva de su recinto amurallado llamada el Arco de Matrera.