Premier village aveyronnais construit dans la plaine, au bord du Tarn, dont les gorges se sont élargies, les falaises du causse Noir au sud et du causse de Sauveterre sont éloignées de plus d'un kilomètre, laissant la place aux cultures. En 1480, le village comptait une trentaine de familles, celui de Peyrelade (autour du château) comprenait 70 à 75 maisons. Petit à petit, le contexte historique devenant plus sûr, la population du château s’installa dans les villages de la vallée, où les conditions de vie étaient plus faciles. Aujourd'hui 4 villages composent la commune: Rivière, Boyne, Le Bourg et Fontaneilles et pas moins de 6 châteaux: Lugagnac, Vignals, Fontaneilles, Andurne, Quézaguet et le château de Peyrelade, majestueuse forteresse bâtie entre le XII et le XVIème siècle, sur un éperon rocheux dominant la vallée et l'entrée des gorges du Tarn. Une des plus importantes du Rouergue, grâce à la position de son rocher-donjon naturel. Les guerres de cent ans et de religion mettent à mal la forteresse, jusqu’à son démantèlement ordonné par Richelieu en 1633. Abandonnée, elle est livrée aux pillages et sert de carrière de pierre. Depuis 1977, la commune a fait le pari réussi de faire revivre ces ruines envahies par la végétation, le site se visite depuis 1996. Au bout d'une petite route étroite, se trouve le site atypique et exceptionnel de l'ancien village en pierre semi-troglodytes de caves à vin du XVIIIème siècle, "Entre-Deux-Monts", construit sur des "fleurines", failles et éboulis rocheux permettant une ventilation naturelle et une conservation optimale du vin. Au sommet de la montagne, le piédestal de Fontaneilles, trone le monument édifié fin XIX et début XXème siècles pour accueillir une immense statue de la Vierge. Lors de la première guerre mondiale, les fonds récoltés disparurent et le projet n’aboutissant pas, seul le socle (piédestal) fut construit et une croix en fer est érigée en 1973.