El nombre de "Los Cerralbos" se origina en dos barrios, Cerralbo de Escalona y Cerralbo de Talavera; separadas sus viviendas por una calle. Se toma el nombre por estar junto a unos cerros. La voz "Cerralbo" es una sincopación de "cerro albo", referido al que sirve de asiento a los caseríos.
Situado este lugar en un valle, sobre una ladera nortiza. Allá por el año 1570 todo su vecindario eran pobres en general, labradores, colonos y jornaleros; había un hidalgo, y unas quince familias poseían rentas de 500, 1000 y 1500 ducados. Gran parte de las tierras eran de los talaveranos D. Hernando de Cervantes, Dª. Ana de Barrionuevo y Gutiérrez de Olea. Dos tercios de su población dependían de los Arzobispos de Toledo y un tercio del Duque de Escalona. No tenía el Municipio más propios que una pequeña dehesa boyal y en ella una abundante fuente, que hoy conserva. Este lugar se compone de dos barrios, antiguamente separados. En 1835 estos dos municipios, antes independientes se unieron en un solo ayuntamiento.