Premier village aveyronnais construit dans la plaine, au bord du Tarn, dont les gorges se sont élargies, laissant la place aux cultures. En 1480, le village comptait une trentaine de familles, celui de Peyrelade (autour du château) comprenait 70 à 75 maisons. Petit à petit, le contexte historique devenant plus sûr, la population du château s’installe dans les villages de la vallée où les conditions de vie sont plus faciles. Aujourd'hui, 4 villages composent la commune: Rivière, Boyne, le Bourg et Fontaneilles et pas moins de 6 châteaux: Lugagnac, Vignals, Fontaneilles, Andurne, Quézaguet et Peyrelade majestueuse forteresse bâtie entre le XII et le XVIème siècle sur un éperon rocheux dominant la vallée et l'entrée des gorges du Tarn. Une des plus importantes du Rouergue, grâce à la position de son rocher-donjon naturel. Les guerres de cent ans et de religion mettent à mal la forteresse, jusqu’à son démantèlement ordonné par Richelieu en 1633. Abandonnée, livrée aux pillages, elle sert de carrière. Depuis 1977, la commune a fait le pari réussi de faire revivre ces ruines envahies par la végétation, le site se visite depuis 1996. Au bout d'une petite route étroite, se trouve "Entre-Deux-Monts" ancien site atypique et exceptionnel en pierre semi-troglodytes de caves à vin du XVIIIème siècle, construit sur des "fleurines", failles et éboulis rocheux permettant une ventilation naturelle et une conservation optimale du vin. Au sommet de la montagne, trone le piédestal de Fontaneilles, monument édifié fin XIX et début XXème siècles pour accueillir une immense statue de la Vierge. Lors de la première guerre mondiale, les fonds récoltés disparaissent et le projet n’aboutit pas, seul le socle (piédestal) est construit et une croix en fer est érigée en 1973.