Cité implantée sur la rivière Agout, au coeur du parc naturel régional du Haut-Languedoc dans le Tarn. Son coeur historique s’étend des deux côtés de la rivière reliés par le pont vieux de la fin du XIIème siècle, classé Monument Historique. L'un des premiers seigneurs occupe la motte féodale puis descend ensuite se fixer au bord de la rivière où il construit le premier château. Au fil du temps, la rive droite devient le fief des catholiques avec l'église tandis que les protestants occupent la rive gauche avec le temple. Chaque bourg avait son château et des deux côtés de la rivière, les maisons se pressaient autour. Le lieu était jadis divisé en Brassac de Castelnau sur la rive droite et Brassac de Belfortès sur la rive gauche. La période des guerres de religion est troublée par les rivalités religieuses. La tolérance n'était admise d'aucun côté, s'ensuivirent des luttes civiles qui durèrent toute la moitié du XVIème siècle jusqu'au début de XVIIème siècle. A la révolution, les biens nobles des deux cotés sont séquestrés et l'unification est effectuée, conservant l'appellation de "Brassac sur Agout".
