Village de charme du Tarn, surplombant la rive gauche de l'Aveyron dans un environnement sauvage et préservé. Il a conservé son authenticité avec ses venelles pittoresques bordées de maisons à colombages bois et encorbellements. Il se déploie le long de l'éperon rocheux sous la protection des vestiges de son imposante forteresse, chef-d'oeuvre d'architecture militaire occitane, défiant les lois de la pesanteur. Le long des remparts, l'église Sainte Catherine, de style gothique méridional, participe au système défensif faisant corps avec la porte du Pont. La cité s'édifie peu à peu à partir du Xème siècle sous la protection de la place forte pour former un Castrum. Lors de la croisade Albigeoise, 1208-1229, il repousse d'innombrables assauts et participe à la défense du Languedoc contre les croisés. A la mort de Raymond VII, dernier des comtes de Toulouse, Alphonse de Poitiers, frère de Saint Louis, prend possession du château. En 1580 et 1586, alors que toute la vallée a épousé la réforme, Penne resté catholique est investi par les protestants, le château et le village sont laissés à l'état de ruine. Par la suite, Louis XIII autorise les habitants à reconstruire leurs maisons avec les pierres du fort. Achetée en 1980 par un avocat puis en 2006 par un architecte, Axel Letellier qui entreprend sa sauvegarde, il est ouvert à la visite à travers un chantier médiéval vivant.