Petit village en 2 parties bien distinctes, Ambialet-le-haut à la naissance du méandre et Ambialet-le-bas, au pied du promontoire, il s'est adapté aux particularités naturelles du terrain accidenté de ce spectaculaire cingle du Tarn. Jusqu'à la fin du siècle dernier, seul un chemin aménagé sur l'arête rocheuse, surplombant la rivière à certains endroits, assurait la liaison entre les deux. En 942, le vicomte d'Albi, Aton Ier, s'arrogea le titre de vicomte d'Ambialet, marquant ainsi la première mention officielle de la cité. Il y fait édifier une forteresse qui reste pendant plus de deux siècles, l'une des plus puissantes de l'Albigeois. Ses successeurs, que l'histoire a retenus sous le nom des "Trencavel", se taillèrent, au milieu du comté de Toulouse, un immense domaine comprenant notamment Béziers, Nîmes, Limoux et Carcassonne. Lors de la croisade contre les Albigeois, Simon de Montfort prit Ambialet. Vingt ans plus tard, le traité de Meaux fit passer ce fief dans la seigneurie de Castres attribué à la famille de Montfort, avant de rejoindre en 1271 la couronne de France à la mort d'Alphonse de Poitiers. Dévasté par les Anglais durant la guerre de cent ans, le château est pris sans coup férir par les Huguenots, de 1563 à 1568 et en 1569. En 1762, la famille de Castelpers a acquis Ambialet pour la somme de 3400 livres à la fin du XIVème siècle, le céde au baron de Lormet qui le conserve jusqu'à la révolution. Dès le XIXème siècle, le village s’endort, victime de l'exode rural, les derniers événements qui vont l'animer seront les différents aménagements réalisés vers 1900 afin d'assurer son désenclavement: tunnel, pont et voie ferrée (abandonnée avant la pose des rails). Sur la partie la plus haute du cingle, se dresse un prieuré. Monastère construit par les vicomtes d'Albi, transmis au bénédictins de Marseille en 1057, ils le gardent jusqu'au XVème siècle. Les guerres de religion et la révolution le laissent en ruine. Ce patrimoine revient à la commune et au XIXème siècle, l'ordre des Franciscains le restaure et l'agrandit pour en faire une école. Aujourd'hui, l'université Saint Francis de Pennsylvanie qui a signé un bail à long terme, l'occupe et le réhabilite.