Construido sobre la Batería y Plaza de Armas que defendía la Puerta de Santa Ana en el siglo XVI. El edificio fué usado como almacén, hospital y sede de la Junta de Arbitrios.
En el año 1979 se acometen las obras de reforma y acondicionamiento para convertirlo en Museo, dándole la configuración que actualmente presenta.
Consta de tres plantas y una torre de cinco pisos, con espadaña para campana "Torre de la Vela", que aún hoy conserva. Por la tercera planta se accede a la Batería de la Muralla Real, integrada en el Museo.