Capitale de la noisette dans le pays du pruneau en Lot et Garonne. La partie médiévale du village épouse le versant Est d'un "pech", colline dont le sommet est couronné par l'ancien site castral, occupé dès le XIème siècle d’où se découvre un panorama à 360°. Les Madaillan sont seigneurs de Cancon mentionné comme "castrum" au début du XIIIème. Entre 1440 et 1492, la place est disputée entre les comtes d'Armagnac et les Caumont, après la saisie de la seigneurie au profit de Catherine d'Anglade, veuve de Jean II de Verdun, le bourg est presque totalement détruit. Son relèvement est l'oeuvre de Jean III de Verdun, aux XVème et XVIème, où le château, les fortifications et l'église sont reconstruits. La plupart des maisons datent de cette période, dont plusieurs sont appuyées contre le rempart. A la fin du XVIIème, le château est abandonné puis progressivement démantelé à partir du milieu du XVIIIème. De tous temps, des noisetiers se trouvaient dans les forêts et les haies, sa culture en verger est plus récente, elle s’est développée dans les années 1970/80 dans le grand Sud Ouest où 80 % des plantations françaises se concentrent. Aujourd’hui, plus de 95 % des noisettes produites en France (5 000 tonnes) transitent par Cancon, avec un volume qui représente plus de 5 fois la consommation française.