Las fechas de su construcción van del año 1542 al 1580.El tracista y arquitecto diseñador fue Alonso de Covarrubias.El estilo de su portada, que reproduce la del Alcázar toledano, así nos lo corrobora.En cualquier caso, las fechas de su construcción coinciden con los años en que el artista y arquitecto toledano aun optaba por este tipo de construcción cerrada, casi medieval, con algunos detalles de Renacimiento puro.

Este palacio no fue terminado, su cuerpo principal, torres, decoración interior y jardín posterior, se hicieron en tiempos de la primera señora de Pastrana, Ana de la Cerda.Tanto su hijo don Gaspar Gastón de la Cerda como sus sucesores en el señorío los Silva y Mendoza, no hicieron sino mantenerlo y habitarlo por temporadas.

En él se hizo el recibimiento, en 1569, a Santa Teresa de Jesús, cuando vino a Pastrana a fundar sus conventos, y en él estuvo, en la torre de levante, retenida y prisionera la princesa de Éboli, doña Ana de Mendoza y de la Cerda, entre 1581 y 1592, por orden de Felipe II, año en que murió, encontrándose enterrada en la cripta de la iglesia Colegiata de Pastrana.

De planta cuadrada, ofrece al estilo clásico un patio central rodeado de edificaciones, con otro amplio patio o jardín escalonado en la parte posterior.La fachada principal se abre al sur, presidiendo la plaza de armas o Plaza de la Hora.Consta de un paramento hermético, de sillería tallada en piedra de tono dorado, con escasos vanos.En su centro, la portada principal, único acceso, que consta de un arco semicircular escoltado de sendas columnas exentas apoyadas en altos pedestales, y rematadas en capiteles corintios que sujetan un entablamento o arquitrabe.Un par de medallones circulares con bustos clásicos ocupan las enjutas.Se trata, de un elemento plenamente renacentista y de raigambre serliana.