Petit village en 2 parties bien distinctes, Ambialet-le-haut à la naissance du méandre et Ambialet-le-bas, au pied du promontoire, il s'est adapté aux particularités naturelles du terrain accidenté de ce spectaculaire cingle du Tarn. Jusqu'à la fin du siècle dernier, seul un chemin aménagé sur l'arête rocheuse, surplombant la rivière à certains endroits, assure la liaison entre les deux. Au XIVème siècle, la famille de Castelpers obtient Ambialet pour la somme de 3400 livres et le céde au baron de Lormet qui le conserve jusqu'à la révolution. Le lieu est dévasté par les Anglais pendant la guerre de cent ans et par les Huguenots pendant les guerres de religion. Au XIXème siècle, le village s’endort, victime de l'exode rural, les derniers événements qui vont l'animer seront les différents aménagements réalisés vers 1900 afin d'assurer son désenclavement, tunnel, pont et voie ferrée (abandonnée avant la pose des rails). Sur la partie la plus haute du cingle, se dresse un prieuré, construit par les vicomtes d'Albi, transmis au bénédictins de Marseille en 1057, ils le gardent jusqu'au XVème siècle. Les guerres de religion et la révolution le laissent en ruine. Ce patrimoine revient à la commune et au XIXème siècle, l'ordre des Franciscains le restaure et l'agrandit pour en faire une école. Aujourd'hui, l'université Saint Francis de Pennsylvanie qui a signé un bail à long terme, l'occupe et le réhabilite.