Capitale de la noisette dans le pays du pruneau en Lot et Garonne. La partie médiévale du village épouse le versant Est d'un "pech", colline dont le sommet est couronné par l'ancien site castral, occupé dès le XIème siècle d’où se découvre un panorama à 360°. Les Madaillan sont seigneurs de Cancon mentionné comme "castrum" au début du XIIIème siècle. Entre 1440 et 1492, la place est disputée entre les comtes d'Armagnac et les Caumont, après la saisie de la seigneurie au profit de Catherine d'Anglade, veuve de Jean II de Verdun, le bourg est presque totalement détruit. Son relèvement est l'oeuvre de Jean III de Verdun, aux XV et XVIème siècles, pour lequel le château, les fortifications et l'église sont reconstruits. La plupart des maisons datent de cette période, dont plusieurs sont appuyées contre le rempart. A la fin du XVIIème siècle, le château est abandonné puis progressivement démantelé à partir du milieu du XVIIIème siècle. De tous temps, des noisetiers se trouvaient dans les forêts et haies, sa culture en verger est plus récente et s’est développée dans les années 1970/80 dans le grand Sud Ouest où 80 % des plantations françaises se concentrent. Aujourd’hui, plus de 95 % des noisettes produites en France (5 000 tonnes) transitent par Cancon, avec un volume qui représente plus de 5 fois la consommation française.