En la antigua calle del Conde, hoy Virgen de Guadalupe, se encuentra ubicada la casa solariega o palacio señorial de los Condes de Via-Manuel. Se construye en el último tercio del siglo XVII, y en ella apreciamos dos partes bien diferenciadas. La primera fase se inicia una vez que el Señor regresa a la villa, después de que Castilla y Portugal firmaran la paz en el Tratado de Lisboa en 1668, que puso fin a la guerra de Restauración.

Al retornar a Cheles encuentra su castillo destruido. Para su reconstrucción son necesarios más de 30.000 ducados. Por este motivo D. Francisco Manuel de Villena, octavo Señor, y su hermano don Cristóbal, deciden la construcción del palacio dentro de la población y en las proximidades de la iglesia.

La parte más antigua comprende desde la torre del homenaje hasta el inicio del arco, con una longitud de 42 varas aproximadamente. Consta de altos y bajos, estos últimos con gruesos muros, bóvedas de cañón y arcos de medio punto, donde se ubicaban las bodegas y caballerizas.