Il Forte Filippo si trova sulla vetta di un promontorio che domina da nord-est Porto Ercole e l'intera baia del porto vecchio, sul Monte Argentario. L'attuale fortificazione venne costruita dall'architetto Giovanni Camerini poco dopo la metà del Cinquecento, nel luogo dove sorgeva una struttura di avvistamento di epoca precedente, per implementare e migliorare il sistema difensivo dello Stato dei Presidi. Il luogo scelto dagli Spagnoli per la costruzione del complesso difensivo era già sede del forte Sant'Ermo, opera difensiva realizzata dai Senesi nel corso del Quattrocento per potenziare il sistema difensivo lungo il tratto litoraneo meridionale del territorio allora amministrato dalla Repubblica di Siena. Con il passaggio dell'intera zona nello Stato dei Presidi, la preesistente fortificazione senese non era ritenuta idonea per integrarsi nel nuovo sistema difensivo: fu così decisa la sua demolizione per lasciare posto all'attuale struttura fortificata che venne realizzata nel 1558. La denominazione fu scelta in onore di re Filippo II di Spagna che incaricò direttamente il Camerini di eseguire i lavori.
Il forte Filippo si presenta come un imponente complesso fortificato che si sviluppa a pianta quadrangolare, con un fortilizio che delimita l'intera struttura difensiva costituito da una doppia cortina muraria con massiccio basamento a scarpa cordonato, che a sua volta racchiude un ampio e profondo fossato che divide il fortilizio esterno da quello interno. Le doppie mura di cinta delimitano a ciascun angolo un doppio bastione di forma triangolare, esterno ed interno, oltre ad un quinto bastione singolo minore che si sviluppa a pianta pentagonale sporgendo dalla cortina muraria esterna lungo il lato settentrionale del complesso. In alcuni tratti si è conservato il camminamento di ronda lungo i parapetti murari del fortilizio. La particolarità architettonica che contraddistingue nell'insieme il fortilizio è l'asimmetria dei bastioni angolari, che lungo le cortine murarie esterne conservano le nicchie ove venivano collocate le armi di attacco e di difesa attiva. Dal bastione settentrionale, una cortina muraria si distacca ponendosi a protezione del sentiero di collegamento tra la fortificazione e la vicina torre del Mulinaccio, mentre a est vi erano collegamenti in superficie con il forte Santa Caterina.
L'accesso alla fortificazione avviene dal lato orientale del complesso, dove una porta d'ingresso ad arco tondo si apre presso il rivellino immettendo sul caratteristico ponte levatoio che conduce alla seconda porta che si apre lungo la cortina muraria interna rivestita in pietra: quest'ultima porta si presenta ad arco ribassato rivestito in travertino, sopra il quale è collocato una grande stemma della Spagna.
Dall'ampio cortile interno sono raggiungibili gli edifici che in passato erano adibiti a funzioni militari. Essi ospitavano una polveriera, un presidio di primo soccorso, gli alloggi delle sentinelle e magazzini di deposito; tra loro spicca ancora la presenza del corpo di fabbrica ad aula unica della settecentesca cappella di San Nicola. Vari fabbricati sono adibiti ad abitazioni a seguito dei restauri effettuati nella seconda metà del secolo scorso. In alcuni ambienti interni è stato allestito un museo privato visitabile su appuntamento.