The name marks the Battle of Alma in the Crimean War (1854). Alma Island (east end of Lac-St.Jean) is also named for the same battle, which coincided with the original survey of the island by J. Duberger.
Below is a photo of St-Joseph church.

FRANÇAIS:
Le nom marque la Bataille d'Alma dans la Guerre de Crimée (1854). L'Île Alma (à l'est du Lac-St-Jean) est aussi appelé pour la même bataille, qui a coïncidé avec l'enquête originale de l'île par J. Duberger.
Dessous une phot de l'église St-Joseph

St-Joseph, Alma, Québec