El Castillo que domina el enclave fue ya en época árabe un destacado bastión, desde el que los musulmanes hostigaban a los cristianos. Esta fortificación primitiva fue destruida a mediados del siglo XIV por Pedro I el Cruel, y reedificada poco después por el titular del Señorío, Infante Don Sancho de Castilla, al que se debe la formidable obra en piedra cuyos restos son los que hoy perduran.

Consta de doble perímetro amurallado con numerosos cubos y torreones de refuerzo, hermosas portadas y patio de armas de dos ámbitos. Su soberbia silueta almenada coronando el cerro, resulta visible desde la lejanía sobre todos los horizontes, ofreciendo una imagen evocadora del antiguo esplendor y poderío del lugar.