Vestiges du château érigé au XIIIème siècle, fièrement dressé au dessus du village de Penne dans le Tarn. Bâti sur une crête naturellement abrupte, longue de 150 m sur une vingtaine de mètres de large, réduite par endroits à 8 m., dont il épouse tous les contours, perché à plus de 120 mètres au-dessus d'un méandre de l'Aveyron. Le donjon domine l'ensemble de la construction, entouré de son enceinte irrégulière percée d'archères. Une basse-cour, encadrée de simples murs, est située sur le côté dans une partie plus basse, au sud du château. Une fois traversée, un châtelet barre totalement l'étroite plate-forme du côté du seul accès possible, bien conservé avec ses deux tours, la première, circulaire, date du XIIIème et la seconde, plus massive, est du XIVème siècle. Sa situation exceptionnelle lui a permis de jouer un rôle de premier plan dans l'histoire du Quercy. En 1096, le premier seigneur connu, Geoffroi, se croise à la suite de Raymond IV de Toulouse. Lors de la croisade des Albigeois, il est l'enjeu de guerres entre le seigneur de Penne, rallié à l'hérésie cathare et les partisans de Simon de Montfort puis des rois de France. Ils n'abandonnent le lieu qu'en 1251, le cédant à Alphonse de Poitiers, comte de Toulouse et frère du roi de France. Ce dernier transforme le rocher en forteresse en élevant de nouvelles fortifications dont le chatelet d'entrée. Au plan militaire, elle protège la région et aussi abrite les archives du comté de Toulouse. En 1271, à la mort d'Alphonse, Penne est rattaché aux Capétiens et devient un poste avancé de la frontière avec les Anglais qui s'en emparent en 1365, pendant la guerre de cent ans. En 1374, il est repris par les Français, en 1384, les Anglais reprennent le village et le conservent jusqu'en 1451, suite à leur départ d'Aquitaine, le destin militaire de la forteresse s'atténue. En 1580, pendant les guerres de religion, le village est pillé par les protestants et en 1586 le château est investi, pillé et démantelé. Abandonné, il acquiert une nouvelle noblesse: ruine romantique dominant un admirable panorama. Classé Monument Historique en 1902, il est acheté en 1980 par un avocat puis en 2006 par un architecte, Axel Letellier qui entreprend sa sauvegarde. Ouvert à la visite à travers un chantier médiéval vivant.
