Con la Guerra de Restauración como agitado telón de fondo (1640-1668), fue su construcción lenta e intermitente. Aunque M. de Alburquerque trazó el ambicioso diseño de su línea magistral -con nueve baluartes y dos puertas- participaron también en otras fases Nicolau de Langres, Jean Gillot y el jesuita Jan Ciermans (Cosmander). En líneas generales, las fortificaciones oliventinas se corresponden con el pirmero de los sitemas formulados por Vauban.
En el siglo XVIII, ingenieros portugueses introducen una serie de reformas y mejoras, como el desaparecido fuerte de San Juan, al SE, un baluarte a caballero sobre el del Calvario, la ornamentación de aquellas puertas con mármoles almohadillados y apertura de las llamadas Nuevas al NE, consstrucción de revellines y plazas de armas, etc.A finales de siglo, sin embargo, la situación era de franco abandono, propiciando la rendición incondicional de 1801. Muy damnificadas por los sitios sufridos furante la Guerra de la Independencia (1811), murallas y fosos fueron enajenados en subasta pública en 1869. A partir de ese momento entraron en un proceso de abandono y ruina que sólo las intervenciones acuales han logrado parcialmente frenar.