La storia del Castello di Torres Vedras è precedente al regno del Portogallo e anche al Contado Portucalense, dal momento che non si conosce la data esatta della sua costruzione.
La prima volta che il sito fu occupato risale all’invasione della penisola iberica da parte dei Romani, fatto confermato da numerosi resti archeologici, lapidi, monete e altri reperti rinvenuti nel castello e che si trovano attualmente nel Museo Civico. Anche un’analisi della malta nella muratura di una cisterna porta esattamente a questo stesso periodo.
La prima fortificazione del luogo risale al tempo dei Goti ma fu nel 920 che fu eretta una vera fortezza, quando gli arabi stabilirono in Torres Vedras la sede della circoscrizione della provincia di Belata.
Il castello fu conquistato ai mori da D. Afonso Henriques, primo re del Portogallo, nell’anno 1148, contestualmente alla conquista di Santarém. Secondo la leggenda la caduta dell’ultima resistenza avvenne il giorno 15 di agosto, giorno dell’Assunzione della Madonna, ragione per cui fino all’inizio del XIX secolo in questa data si accendevano fuochi nel sagrato della chiesa e tra i merli del castello. Alla distruzione delle mura, conseguenti alla presa della fortificazione, seguì una solida ricostruzione che impedì l’ingresso degli arabi durante il successivo assedio del 1184.
Più tardi, nel 1288, D. Dinis ordinò che venissero rafforzate e ampliate le difese in vista della costruzione del palazzo dos Alcaides che fu eretto alla fine del XIII secolo fuori dalla cerchia muraria originaria. Anche D. Fernando, tra il 1373 e 1382, apportò riparazioni sia al castello che alla cerchia muraria circondante il villaggio.Il castello di Torres Vedras è stata una delle residenze temporanee di diversi re del Portogallo. Uno di questi fu D. João I che riunì lì il Consiglio che decise la conquista di Ceuta, evento che segnò l’inizio delle politiche di allargamento del Regno che avrebbero in seguito portato alla partenza per la scoperta di nuove terre oltremare.
Sotto il regno di D. Manuel, nel 1510, il castello subì una delle sue maggiori ricostruzioni. Risale a questo periodo la porta a sesto acuto sopra la quale possiamo osservare gli stemmi del sovrano e le sfere armillari con la Croce di Cristo. Nel 1589 le forze comandate dal priore di Crato, D. Antonio, sbarcarono a Peniche e marciarono su Lisbona prendendo il castello. Il priore però fu riportato all’obbedienza e costretto all’esilio pochi giorni dopo dalle forze comandate da Manuel Martins Soares Pereira e del capitano Antonio. A causa di questi avvenimenti diverse sezioni delle mura del castello caddero in rovina e i barbacani vennero smantellati. Il colpo di grazia però lo diede il terremoto del 1755 che causò il crollo degli edifici all’interno e ciò che restava delle sue mura. Più tardi, nel 1790, il Consiglio Comunale finì per affittare la terra a ridosso delle mura come seminativo.
Nell’ottobre del 1846 il castello fu protagonista del suo ultimo assedio, con la battaglia di Torres Vedras, tra il conte di Bonfim, che si era installato nella fortezza, e il duca di Saldanha che la bombardò causandone l’eplosione della polveriera. 
Chiesa di Santa Maria do Castelo
Situata all’interno del castello la chiesa di Santa Maria è una delle più antiche della città. È probabile che sia stata eretta sopra un tempio islamico lì esistente durante la dominazione araba. La sua costruzione risale infatti a poco tempo dopo la presa del castello ai Mori da parte di D. Alfonso Henriques, nel 1148. Patrona della chiesa è Nossa Senhora da Assunção (15 agosto). Fino all’inizio del XIX secolo, nella notte del 14 di agosto, si accendevano diversi fuochi nel sagrato della chiesa e tra i merli del castello per commemorare il giorno in cui, secondo la tradizione, il castello passò in mani cristiane.
