El vocablo "casar" significa "alquería", "aldea pequeña".
Al repoblarse el territorio, a mediados del siglo XII, los cristianos reconquistadores fundaron alquerías, de ellas sería esta llamada "El Casar de Alberche". Después, cuando pasa a integrar el poderoso Estado de Escalona, toma el nombre de los nuevos señores. Se mantuvo como aldea hasta que Felipe IV en el 1634, le concedió el privilegio de villazgo.