Los restos del castillo de origen musulmán muestran los avatares vividos y las contiendas protagonizadas en él. Esta fortaleza se alza coronando el cerro que ampara la villa. En su origen, la planta de este castillo era un polígono irregular, con seis torres abiertas en abanico y una potente torre mayor de planta trapezoidal. La guerra de la Independencia tuvo aquí un episodio heroico. La enérgica defensa de sus moradores obligó al mariscal Suchet a dar un rodeo de unos 40 kilómetros en su marcha hacia Valencia. Suchet volvió más tarde al asalto y ordenó destruir con toda su artillería las murallas, hasta ocupar Oropesa en el año 1811, tras varias semanas de asedio.