La Torre de El Tardón, forma una curiosa pareja con la cercana Torre de la Trinidad de la iglesia, ambas tienen la característica de ser prismáticas irregulares.
La única obra de la provincia en la que encontramos documentada la intervención de Andrés de Vandelvira (1568) es en la tasación de la Torre de El Tardón, que sin duda tiene su sello inconfundible, así por ejemplo, los guerreros que sostienen el escudo de la ciudad recuerdan los temas semejantes de la portada de El Salvador de Ubeda.
La Torre de El Tardón se construyó a partir de 1955 por Bartolomé Flores, quien 1568 declara que la tenía acabada. Su nombre parece tener origen en que su campana tocaba de tarde en tarde con motivo de diversos acontecimientos, esta campana existe hoy en día y una inscripción la fecha en el año 1444.