Su nombre actual parece derivar del árabe "calat horra", que significa castillo libre o castillo aislado. Probablemente ya en época romana fuera un puesto fortificado que defendiera el puente; los árabes edificaron una pequeña fortaleza con la misma finalidad. La imagen que hoy ofrece en su exterior es obra de época cristiana, en su interior acoge a la sede del Centro Cultural Torre de la Calahorra, que oferta una interesante muestra iconográfica sobre el pasado de la Ciudad.