De este conjunto residencial de los duques del Infantado sólo quedan en la actualidad algunas ruinas que indican claramente la importancia que tuvo este edificio en otros momentos. Este conjunto estaba formado por un pequeño palacio de recreo, quizá del siglo XVII o XVIII, que aún presenta restos de un poderoso tambor en cuyo interior unos escudos alternan con óculos ciegos. Junto a la residencia se levantaba una capilla o ermita. Desde el castillo de Buitrago se podía pasar a la finca de El Bosque por un puente que atravesaba las aguas del río Lozoya. EL palacio se conoce como Casas del Bosque y configura el conjunto arquitectónico menos conocido de Buitrago; esto es debido a su alejamiento del núcleo habitado y a su difícil acceso.