En lo más alto de la villa, dominándola aún con su atormentada silueta, se encuentra el castillo que fue de los Monroy. La Iglesia parroquial está al lado de la fortaleza y en su edificación se aprovecharon diversas partes de la misma. Así, una de sus torres hace función de campanario, otro primitivo bastión sirve de capilla mayor, y ésta última, a su vez, tiene adosado una especie de torreón cuadrangular que en su interior aloja el camarín de Santa María de Fuentes Claras, Patrona de Valverde. En todas estas torres se comprueban todavía almenas, aunque todavía tapiadas en algunos casos, y ventanas saeteras, elementos indiscutibles ofensivo - defensivos de la primitiva fortaleza que edificó el poderoso Nuño Pérez de Monroy en los albores del siglo XIV.



Tiene el castillo un recinto exterior con fuertes muros de gruesa mampostería, conservándose bastante bien tres lienzos con dos potentes cubos esquineros, cilíndricos, del mismo material: están dotados de troneras y orientados al nordeste y al noroeste de la fortificación. También se aprecian vestigios por los que deducimos que la fortaleza tuvo foso, al presente cegado. Pero lo más airoso de todo el edificio es la torre del homenaje, desgraciadamente mutilada por el paso de los siglos y por las destrucciones de los hombres. De ella tan sólo restan dos muros en pie (los del norte y oeste). Afirma Velo y Nieto que en su origen la constituirían tres cuerpos de mampostería y sillería, ésta reforzando los ángulos y vanos. La parte alta de las esquinas la ocupan artísticas garitas de base escalonada, las cuales se repiten, aunque en un tamaño menor, en la zona media de los lienzos.



El estilo de tales matacanes evidencia que la erección de esta torre del homenaje del castillo de Valverde tuvo lugar en la segunda mitad del siglo XV, quizá reformando una precedente. Cooper afirma que tal hecho acontecería hacia el año 1470, pero, sin embargo yerra cuando dice que la fortaleza no puede ser anterior al año 1452: como hemos visto los vestigios más primitivos datan del siglo XIV. El dato cronológico nos lo confirma la presencia de sendos escudos de la familia Zúñiga en la parte alta de los muros de esta torre del Homenaje, junto a otros dos difíciles de identificar, porque están muy desgastados, pero que pudieran corresponder en opinión de Velo y Nieto a los Dávila: son partidos, con una cruz en el lado diestro y lisos en el siniestro. Los cuatro blasones parecen de los años finales del siglo XV. En conclusión, podemos decir que el castillo de Valverde lo erigiría, como ya sabemos, don Nuño Pérez de Monroy a comienzos del siglo XIV con el fin de proteger los territorios de un señorío; sin embargo sufrió notables modificaciones en la segunda mitad del siglo XV que afectaron, sobre todo, a la gran torre del Homenaje.