Village de charme du Tarn, surplombant la rive gauche de l'Aveyron dans un environnement sauvage et préservé. Il a conservé son authenticité avec ses venelles pittoresques bordées de maisons à colombages bois et encorbellements. Il se déploie le long de l'éperon rocheux sous la protection des vestiges de son château, imposante forteresse, chef-d'oeuvre d'architecture militaire occitane, défiant les lois de la pesanteur. Le long des remparts, l'église Sainte Catherine, de style gothique méridional, participe au système défensif faisant corps avec la porte du Pont. La cité médiévale s'édifie peu à peu à partir de la fin du Xème siècle sous la protection de la place forte pour former un Castrum. Les seigneurs de Penne, originaires du Castelviel d'Albi, furent d'abord vassaux des vicomtes de Béziers puis sous la bannière toulousaine au cours du XIIème siècle. Lors de la croisade Albigeoise, 1208-1229, ils repoussent d'innombrables assauts et participent à la défense du Languedoc contre les croisés. A la mort de Raymond VII, dernier des comtes de Toulouse, Alphonse de Poitiers, frère de Saint Louis, prend possession du château. Pendant la guerre de cent ans, la population, rattachée depuis peu à la couronne de France est peu concernée par les rivalités franco-anglaises. En 1580 et 1586, alors que toute la vallée a épousé la réforme, Penne resté catholique est investi par les protestants. Le château et le village sont laissés à l'état de ruine. Par la suite, Louis XIII autorisa les habitants à reconstruire leurs maisons avec les pierres de la forteresse. Classé Monument Historique en 1902, il est acheté en 1980 par un avocat puis en 2006 par un architecte, Axel Letellier qui entreprend sa sauvegarde, il est ouvert à la visite à travers un chantier médiéval vivant. Sur la commune, se trouve la forêt de Grésigne avec 3600 ha, une des plus vastes chênaies d'Europe. Sous Louis XIV, une ordonnance royale oblige les riverains à creuser des fossés et à construire des murs sur les 2/3 de la périphérie, aujourd’hui le "mur de Louis XIV" existe encore en partie. Cette mesure est prise afin d’éviter tout pillage des hautes futaies réservées pour la marine royale.