Del antiguo palacio de los Condes de Andrade construido en la segunda mitad del siglo XIV, solo resta la torre del homenaje. El edificio ocupaba lo que hoy es la Plaza del Conde, fuente y mercado. En 1924 fue declarado monumento histórico artístico pero en 1935 fue derribado. La torre de planta cuadrada coronada por almenas consta de cuatro pisos con hermosos vanos de estilo ojival. Tiene 11,5 metros de lado y 18 metros de altura, con un grosor de más de 2 metros cerca de la base en el muro sur observamos un magnífico escudo adornado con las 18 banderas ganadas a los franceses por Fernán Pérez de Andrade en la Batalla de Seminara en el año 1503, los seis roeles de los Catro de Lemos y la barra de los Andrade. Un Ángel sostiene una inscripción "Nolite Nocere" (No hagáis daño). Este escudo fue trasladado desde la fachada del antiguo palacio.