Cité médiévale entourée de remparts, perchée sur un plateau dominant d'une cinquantaine de mètres la garrigue. "Un des plus beaux villages de France" languedocien caractérisé par ses ruelles étroites et ses vieilles maisons qui dévoilent plusieurs siècles d'histoire, depuis les conflits entre catholiques et protestants jusqu'à l'avènement de la production de la soie. Les 800 mètres de remparts, aménagés au XVème siècle et le chemin de ronde permettent de découvrir un vaste panorama. Au XIIème siècle, un premier château est construit par les seigneurs de Lussan, alliés à la famille de Barjac, rattachée au comté de Toulouse. Dégradé lors de la révolte des Tuchins entre 1381 et 1384, il est réparé et abandonné, il en reste une partie de muraille, la poterne et le puits. A la fin du XVème siècle, la famille d'Audibert érige un nouveau château, entouré de quatre tours d'angle dont la plus haute, "la tour de l'Horloge" est surmontée d'un campanile, aujourd'hui l'Hôtel de ville. Puis une cinquantaine d'années plus tard, en contrebas, le château de Fan, plus confortable avec un parc, face à la source du même nom. Acquis par Théophile Gide en 1795, il reste une résidence d'été de la famille jusqu'en 1920, date de son acquisition par la municipalité, mis en vente en 2008, acheté pour réaliser des appartements.
