Confina con la Riserva naturale Monte Rufeno e con il bosco monumentale del Sasseto, al quale si accede dai giardini pubblici del borgo. La sua storia si identifica con quella del suo castello, a cui deve probabilmente parte del nome, costruito nel medioevo intorno ad una torre di avvistamento dalle quale proviene il sostantivo Torre.
Alfina secondo alcuni deriverebbe dal latino ad fines, che indicherebbe la sua collocazione ai confini (fines) dell'altopiano rispetto al territorio comunale di Orvieto che la dominava, mentre secondo altri l'appellativo Alfina sarebbe stato aggiunto per identificarla con la collocazione geografica sull'omonimo altopiano e per distinguerla dalla vicina Torre di San Severo.
Le prime notazioni storiche riguardo all'esistenza di una torre d'avvistamento le abbiamo nei Comentarii Historici di Monaldo Monaldeschi della Cervara, che parla di una torre fortificata trasformata in castello durante il regno longobardo di Re Desiderio (VIII secolo). E proprio la famiglia dei Monaldeschi prima, e il suo ramo della Cervara poi, saranno signori del castello e proprietari di molte delle terre intorno, dal 1200 al 1700.
Il castello passò, per via ereditaria, ai marchesi Bourbon del Monte in seguito al matrimonio di Gia' Mattia del Monte con Anna Maria Monaldeschi, nella seconda metà del Seicento. Il borgo di Torre Alfina, nel frattempo, intorno alla metà del '400 aveva raggiunto una certa autonomia amministrativa costituendosi in comune rurale dipendente da Orvieto.
La rivoluzione francese lasciò il segno anche sul piccolo comune che, nel 1809, con il riassetto territoriale fu assegnato al circondario di Todi e al cantone di Acquapendente e poco dopo, a causa del calo demografico (contava solo 300 abitanti), fu addirittura soppresso e il suo territorio aggregato al comune di Acquapendente. L'assetto amministrativo deciso dai francesi verrà confermato anche dal nuovo Regno d'Italia, facendo diventare Torre Alfina una frazione del comune di Acquapendente.
Durante la spedizione garibaldina nell'agro romano, del 1867, il generale Giovanni Acerbi la scelse come suo quartier generale, in virtù della sua posizione geografica favorevole, da dove proclamò la prodittatura.
Il castello e la sua tenuta rimasero proprietà dei Bourbon del Monte fino al 1880 circa quando furono acquistati da un ricco banchiere francese, Edoardo Cahen d'Anvers, che, già conte (titolo ereditato dal padre Giuseppe Mayer, già nobilitato da Vittorio Emanuele II per ringraziarlo di essere stato l'unico banchiere europeo a finanziare il Risorgimento), fu nominato marchese nel 1885 da Umberto I e si fregiò del titolo di Marchese di Torre Alfina, dando il via alla ristrutturazione del palazzo come oggi appare, secondo il progetto affidato all'architetto senese Giuseppe Partini. A Edoardo successe Teofilo Rodolfo Cahen, che continuò l'opera di ristrutturazione.