El castillo de Villa de Ves es de origen árabe aunque sufrió remodelaciones en la época de las Guerras Carlistas. Felipe II informa en la Realción Topográfica de que sus murallas estaban deterioradas, debido a la pérdida de valor estratégico.
Del castillo se conserva el aljibe y en el interior de la fortaleza un viejo cementerio.