Fue construido en el tercer cuarto del siglo XV por don Juan Pacheco, marqués de Villena, como así lo demuestran las armas que aparecen en los muros. El castillo sufrió algunas reformas en el siglo XIX, perdiendo la torre del homenaje, en la cual estuvo preso Cesar Borgia por la muerte del duque de Gandía. En los aledaños del castillo quedan todavía los importantes restos de murallas de origen musulmán y otras posteriores. La única puerta que se conserva en su totalidad es la llamada de Tiradores.