El grupo de mozárabes que fundaron esta localidad le dieron el nombre de "Sevilleja", que es un diminutivo-despectivo de "Sevilla", en recuerdo de su ciudad vernácula.
Huyendo los mozárabes andaluces de la persecución de los almorávides, un grupo de aquéllos, al frente del cual venía Clemente, obispo electo de Sevilla, llegaron en el primer tercio del siglo Xlll a Talavera y desde allí marcharon a un lugar de La Jara donde levantaron sus viviendas originando así el nuevo lugar de Sevilleja. La orden militar de Alcántara se había apoderado de algunos pueblos, propiedad de los arzobispos de Toledo en la jurisdicción de Talavera y su Tierra, como natural consecuencia de las luchas civiles castellanas; por eso en 1455, se da poder por el arzobispo de Toledo, don Alonso Carrillo, para que se recuperen esos pueblos, entre ellos Sevilleja, Gargantilla, Río Frío y Cardobilla.