Cité implantée sur la rivière Agout, au coeur du parc naturel régional du Haut-Languedoc dans le Tarn. Son coeur historique s’étend des deux côtés de la rivière reliés par le magnifique "Pont Vieux" à deux arches de la fin du XIIème siècle. L'un des premiers seigneurs occupe la motte féodale puis descend ensuite se fixer au bord de la rivière où il construit le premier château. Au fil du temps, la rive droite devient le fief des catholiques avec l'église tandis que les protestants occupent la rive gauche avec le temple. Chaque bourg a son château et des deux côtés de la rivière, les maisons se pressent autour. Le lieu est divisé en Brassac de Castelnau sur la rive droite et Brassac de Belfortès sur la rive gauche. La période des guerres de religion est troublée par les rivalités religieuses. La tolérance n'est admise d'aucun côté, s'ensuivent des luttes civiles qui durent toute la moitié du XVIème jusqu'au début de XVIIème. A la révolution, les biens nobles des deux cotés sont séquestrés et l'unification est effectuée, conservant l'appellation de "Brassac sur Agout".
