Los restos del castillo se encuentran en los aledaños de la Plaza San Jorge. De él queda sólo un torreón, pues el edificio fue volado durante la Guerra de la Independencia. También queda en pie la Puerta de la Villa, aunque está muy reformada. El patio de armas del castillo ocupaba en la Edad Media el espacio en el que hoy se sitúa la Plaza de San Jorge.
Mas alojamientos en la zona: