Vestiges du château érigé au XIIIème siècle, fièrement dressé au dessus de son village dans le Tarn. Bâti sur une crête abrupte, longue de 150 m sur une vingtaine de mètres de large, réduite par endroits, il en épouse tous les contours, perché à plus de 120 mètres au-dessus de l'Aveyron. Le donjon domine l'ensemble de la construction, entouré de son enceinte irrégulière percée d'archères. Une basse-cour, encadrée de simples murs est située sur une partie plus basse, une fois traversée, un châtelet barre totalement l'étroite plate-forme du côté du seul accès possible, bien conservé avec ses deux tours, la première, circulaire du XIIIème, la seconde, plus massive du XIVème siècle. Sa situation exceptionnelle lui a permis de jouer un rôle de premier plan dans l'histoire du Quercy. Lors de la croisade des Albigeois, il est l'enjeu de guerres entre le seigneur de Penne, rallié à l'hérésie cathare et les partisans de Simon de Montfort puis des rois de France. Ils n'abandonnent le lieu qu'en 1251, le cédant à Alphonse de Poitiers, comte de Toulouse et frère du roi de France. Ce dernier transforme le rocher en élevant de nouvelles fortifications dont le chatelet d'entrée. En 1271, à la mort d'Alphonse, Penne est rattaché aux Capétiens et devient un poste avancé de la frontière avec les Anglais qui s'en emparent en 1365 pendant la guerre de cent ans. En 1374, il est repris, en 1384, les Anglais s'en rendent de nouveau maître et ne le quittent qu'en 1451, le destin militaire de la forteresse s'atténue. En 1580, pendant les guerres de religion, le village est pillé par les protestants et en 1586 le château est investi, pillé et démantelé. Abandonné, il est acheté en 1980 par un avocat puis en 2006 par un architecte, Axel Letellier qui entreprend sa sauvegarde. Ouvert à la visite à travers un chantier médiéval vivant.