En el bajo medioevo había en este lugar un coto de caza en el que el rey Enrique III levantó un palacio real para holgar. Su hijo, Juan II, cumpliendo la voluntad de su padre cambió para siempre el destino del palacio. En 1441 fue cedido para que se estableciera una comunidad de Cartujos bajo la advocación de San Francisco de Asís. Tras algunas demoras recibió el impulso definitivo al acceder al trono Isabel la Católica. El edificio fue diseñado en 1454 por Juan de Colonia. En ella trabajaron los mejores arquitectos, escultores y pintores de la época, Simón de Colonia, Gil de Siloé, Pedro Berrugeta, etc..., convirtiéndose en uno de los conjuntos más destacados dentro del arte gótico de finales del siglo XV.