Dada su estratégica situación geográfica fue lugar habitado desde tiempos remotos (fenicios, celtas, romanos) y tuvo especial importancia en la Edad Media.
Como otras tierras zamoranas, en Fermoselle se asentaron los vetones, luego los visigodos y mozárabes y, ya en el siglo XI, fue reconquistada por tropas leonesas.
Villa vinculada desde los albores del Siglo XIII al Cabildo de Zamora, fue durante tres siglos, del XIII (en 1205 el rey de León Alfonso IX (1188-1230) cedía a don Martín, obispo de Zamora, sus derechos sobre Fermoselle) a XVI (donde la diócesis mantiene a esta villa como privilegiada en manos del obispo Acuña y para su defensa se levanta el, hoy destruido, castillo. En otro tiempo residencia de Dña. Urraca, fue el último baluarte del obispo Acuña en la Guerra de las Comunidades, donde tuvo encarcelados al alcalde Ronquillo y a sus alguaciles) fuente de continuas luchas entre el Cabildo y el Consistorio de Zamora como consecuencia de la bondad, calidad y riqueza, ya en aquellos tiempos, de los productos de este rincón de la provincia, acompañados por el trabajo y laboriosidad de sus vasallos.

Ya en el siglo XVIII, los frailes franciscanos, construyeron el convento sobre una ermita del siglo XII y trajeron al pueblo los olivos y la vid que han sido uno de los principales medios de subsistencia de la villa.

Fermoselle fue declarada conjunto histórico artístico en 1974. Dentro de este conjunto destacan:

• La Iglesia de Nuestra Señora de la Asunción: siglos XII y XIII, pero  con posterioridad ha sufrido diversas modificaciones del siglo XVI
• Iglesia de Santa Colomba: estilo románico 
• Santuario de la Virgen de la Bandera: construido en el año 1730 
• Convento de San Francisco (ruinas): Adosado a los Muros del Santuario de la Virgen de la Bandera alberga el Centro de Interpretación de los Arribes
• Ermita de Santa Cruz: siglo XV
• Ermita de San Albín o de la Merced
• Ermita de la Soledad: siglo XIII
• El Arco: antigua entrada principal de Fermoselle.  Es uno de los pocos restos de Muralla que quedan.
• Ruinas del Castillo de doña Urraca
• La plaza Mayor: Forma un conjunto armonioso en el que cabe destacar algunas casas señoriales, tres arcadas con soportales y la fachada del ayuntamiento (del siglo XIX)
• Castrilluzos celtas: como el Castillo Romero, Castillo Moro, …
• Baños romanos: Situados en el pago de Cordero, en el interior de una finca privada.
• Estelas romanas: en los muros de las ermitas.
• Torre del Reloj de Santa Colomba: Edificio de principios del siglo XX
• Entramado de bodegas: sin catalogar, ni fechar configuran un conjunto de pasadizos graníticos o pizarrosos, algunos de ellos sujetos con fuertes arcos de medio punto. Parecen por su distribución antiguos pasadizos.

El entorno natural forma parte del Parque Natural Arribes del Duero.
Diversas cascadas, berrocales, profundas fallas, cuevas y rechizos se mezclan con el paisaje.
Además el paisaje se adorna con otros elementos como palomares, casetas de labrador, puentes, fuentes, elaborados cercados, cigüeñales, …
La población dispone de siete rutas locales, otras señalizadas por la junta y varios tramos de la Gr14

• Fiesta de los Quintos: 6 de enero
• Semana Santa.
• Romería de San Albín: martes de Pascua
• Romería de Santa Cruz: lunes de Pentecostés
• Día de San Isidro Labrador: 15 de mayo
• Toque de la campana torera: 1 de agosto
• Fiestas de San Agustín: segunda quincena de agosto
• Fiesta de Nuestra Señora la Virgen de la Bandera: 8 de septiembre
• Fiesta del Cristo de Santa Colomba: 14 de septiembre

Como pueblo dedicado a la agricultura, Fermoselle cuenta con buenos caldos de la denominación de Origen Arribes del Duero. Negros de uva Juan García y blancos de malvasía.
El microclima favorece la aparición del olivar, del que se extrae un aceite virgen extra , elaborado con la variedad manzanilla, de aroma afrutado y sabor dulzón a la boca. Este está presente en todos sus platos.
La comida tradicional se basa en platos fuertes como:

• Asados de costilla de cerdo aderezados con “chirri” (mezcla de hierbas silvestres, almendra, aceite y vinagre)
• Cachelos de patata con Bacalao o con Pulpo.
• Patatas con Bacalao.
• Asados de Lechazo o Cabrito de la zona
• Legumbres de la tierra
• Hornazo.
• Arroz a la zamorana.

Respecto a los postres y dulces destacan:

• El periquillo (dulce típico del Carnaval con sabor anisado, con forma de bola)
• Las perrunillas (con almendras de la villa)

Todas ellas aderezadas con el artesano licor de café.

La localidad dispone también de:

• Un Museo en la Iglesia Parroquial.
• El Centro de Interpretación de “Arribes del Duero”, situado en las ruinas del Convento de San Francisco
• Actividades de turismo activo
• Zonas de baño: la Cicutina y la Presa de Almendra.
• Las bodegas: son un reclamo para el turismo pero curiosamente no hay ninguna de uso público.
• Museo del vino y del aceite: se conserva la vieja maquinaria en la Cooperativa Virgen de la Bandera y se podría hacer un Museo.