L’abbaye fut fondée en 780 par le moine Anian. Le comte Milo de Narbonne lui fit don de la « villa Bufentis » et de son domaine ainsi que de la haute vallée de l’Argent-Double jusqu’à sa source. Anian y fonda un monastère dédié aux saints Pierre et Paul.
Le monastère de Caunes demeurait un établissement modeste, puisqu’il ne devait aucun cens en argent à l’empereur en retour de sa protection, mais seulement des prières. Plus grave encore, il ne possédait pas de reliques, ces corps saints dont la présence était un gage d’expansion matérielle et religieuse.

Découverte de martyrs de la période romaine
En 982, on mentionna pour la première fois la découverte de tombes par des paysans, hors de l’enceinte du vieux village, dans un champ proche de la rivière. Les moines informés déclarèrent qu’il s’agissait de martyrs de la période romaine. C’est le début du culte des reliques des quatre saints martyrs de Caunes : Amans, Luce, Audalde et Alexandre. Saint Genès, patron de la paroisse, les rejoindra après la Révolution.
De l'église primitive à l'édifice actuel
De période d’épanouissement en période de déclin, en passant par les tumultes de la croisade des albigeois, l’abbaye traverse les siècles
L’église primitive carolingienne sera ensuite recouverte par l’édifice actuel avec différentes étapes dans sa construction : romanes (XIe-XIIe siècles l’abside, les tours) et gothiques (XIIIe-XIVe : la nef et le porche).