Cette abbaye doit son origine au comte Albert 1er et son nom aux reliques de Saint-Prix. Albert, voyant avec peine que son palais avait été la prison du roi son souverain, l'abandonna aux religieux de Saint-Benoît.

Saint Prix, évêque de Clermont, vers le VIIe siècle, avait été mis à mort à l'occasion du martyre d'Hector, patrice de Marseille ; son corps, inhumé à Volvic, à deux lieues de Clermont, fut, un siècle plus tard, retrouvé en entier et rendu vénérable à toute la France. Charlemagne, à la prière de Fulrad, enrichit la capitale du Vermandois de deux morceaux de ses reliques .

Plus tard, l'Eglise en abandonna une partie à l'abbaye qui, depuis, a porté le nom de Saint-Prix.

L’abbaye, transférée dans la ville, à la fin du XIVe siècle ou au commencement du XVe siècle, fut gouvernée par trente-six abbés réguliers, jusqu'en 1514, et par dix abbés commendataires jusqu'en 1760, époque à laquelle les revenus de cette abbaye furent employés à l'instruction de jeunes clercs réservés au diocèse.