Es el único de la provincia construido totalmente en ladrillo, con torres peatonales en los ángulos. Siglo XIV.Fue construido en la primera mitad del siglo XIV, bien por Alfonso Fernández Coronel, señor entonces de la villa, o por Diego Gómez de Toledo, notario mayor de Castilla, al que fue donado por Pedro I "el cruel" en 1354, tras la ejecución de Fernández y confiscación de los bienes de aquel. La donación fue fechada el 14 de agosto de 1354.
Casado D. Diego con doña Inés de Ayala, Pedro I tuvo amores fugaces con la hija de ambos, doña Teresa, con la que tuvo una hija llamada María de Castilla, profesando ambas madre e hija en el convento toledano de Santa Domingo el Real. Ante este ultraje, don Diego se paso al bando de los Trastamara, siendo apresado en la batalla de Najera, sin que D. Pedro tomara represalias personales contra su notario mayor, seguramente por aquella relación ilegitima. La villa y el castillo los heredo el hijo de don Diego, don Pedro Suarez de Toledo. En 1426 era señora de Casarrubios la hija de D. Pedro, Dña. Marina de Córdoba, casada con el almirante de Castilla don Fadrique Enríquez. De ésta pasó a doña Juana Enríquez, reina de Aragón, quien lo cedió al rey Enrique IV que, a su vez, lo donó al almirante castellano. Pero enemistado con éste se lo entrego a su hermana doña Isabel la Católica (1467), con la condición de que no lo enajenase. Sin embargo, ésta lo devolvió al almirante con la confirmación del príncipe-rey don Alfonso; ello irritó al rey y el 24 de noviembre de 1468 lo donaba al comendador de Montiel Gonzalo Chacon, futuro secretario real. Año y medio después el rey lo entregaba al futuro conde de Fuensalida.
Muerto Enrique IV, el rey católico don Fernando, como heredero de su madre la reina de Aragón, devolvía Casarrubios a don Gonzalo Chacón en noviembre de 1475. Formó D. Gonzalo un mayorazgo con la villa y su fortaleza y en 1599 Felipe III creaba el condado de Casarrubios, que heredará el conde de Miranda y duque de Peñaranda. Tras él, a principios del XIX era su señor don Cipriano Portocarrero, conde de Montijo; luego su hija María Francisca y de ella a su hijo el duque de Alba. A fines del siglo (1899) compraba el castillo y palacio condal un vecino de Casarrubios.
Se erigió esta fortaleza al exterior de la cerca que defendía el poblado, hoy desaparecida. Está construido totalmente de ladrillo y argamasa, siendo único en la provincia de Toledo, como sus contemporáneos de Coca y Segovia.
Esta fortaleza está construida sobre planta rectangular, flanqueada por tres torreones hexagonales, en tres de sus esquinas
La torre del homenaje es de planta rectangular y está interiormente abovedada.
La puerta del castillo, de arco apuntado gótico, se encuentra blasonada por los escudos de los Reyes Católicos y de Gonzalo Chacón, y está ornamentada con arcos apuntados y labores de cantería y ladrillos.
Aunque nunca presenció hechos de armas, fue de los últimos castillos en conservar su armamento, concretamente hasta comienzos del siglo XIX. Hay constancia de que poseía cuatro cañones, dos de ellos donados en 1837 al Alcázar de Toledo y los otros dos al Parque de Artillería de Madrid, en 1843, donación realizada por la Condesa de Montijo.