Construido sobre un montículo rocoso en la confluencia de los ríos Eresma y Clamores, tan privilegiado emplazamiento sugiere una muy temprana ocupación como fortaleza, quizá ya en tiempos celtas. Desde el siglo XII lo ocuparon y fueron engalanando sucesivos monarcas de Castilla, desde Alfonso X el Sabio a los Reyes Católicos, y desde Felipe II a Carlos III que decidió instalar allí en 1764 el famoso Colegio de Artillería. La acertada restauración llevada a cabo en el siglo XIX tras el incendio sufrido por el edificio consiguió recuperar los artesonados mudéjares y la decoración propia de la mayoría de las salas.