Em posição dominante junto à foz da ria Formosa a fortaleza, ainda com vestígios quinhentistas, é considerada como uma das mais importantes estruturas de arquitetura militar da região.

Cacela-Velha foi um lugar ocupado por diferentes povos ligados à atividade piscatória e ao comércio devendo, pela sua importância geográfica, ter ali existido uma estrutura defensiva anterior ao exemplar quinhentista de que ainda hoje existem vestígios. Já sob o domínio português, D. Afonso III entregou-o à Ordem de Santiago e no século XVI a defesa da povoação foi remodelada por ordens de D.João III mas, no reinado posterior de D.Sebastião, ainda não se encontrava finalizada. Já no início do século XVII, no reinado de Filipe II de Portugal, o engenheiro militar italiano Alexandre Massai elaborou uma planta da fortaleza demonstrando a necessidade de revitalizar o local que já se encontrava em decadência. A fortificação abaluartada, sofreu consideravelmente com o terramoto de 1755 e, a partir de 1770, foi reedificada por iniciativa do então Governador e Capitão-general do Reino do Algarve, D. Rodrigo de Noronha, que nela instalou um farol. A atual estrutura, de pequenas dimensões, apresenta planta em polígono estrelado com baluartes e guaritas. O núcleo urbano constituído pela fortaleza, casas do Governador, igreja, cadeia, pelourinho e demais dependências sofreu nova intervenção, em finais de setecentos, da autoria do engenheiro militar José de Sande Vasconcelos, nomeadamente no reforço defensivo exterior entre os baluartes e as obras ficaram apenas concluídas em 1794, com o Governador e Capitão-general do reino do Algarve D. Nuno de Mendonça e Moura, 6.º Conde de Vale de Reis. No contexto das Lutas Liberais deu-se o desembarque do Duque da Terceira, ao comando de uma pequena força liberal de cerca de 2.500 homens e em finais do século XIX, passou a ser o quartel da Guarda Fiscal.