Le premier établissement religieux date vraisemblablement du 7e siècle : selon la légende, Saint-Éloi, évêque de Tournai et Noyon venait prier sur le Mont et y aurait fondé un ermitage. Son successeur, Saint-Vindicien, s'y fait enterrer et ses reliques sont découvertes en 929 : c'est alors qu'est fondée une collégiale romane. L'évêque de Cambrai Fulbert place des clercs séculiers pour veilller aux reliques. Au 13e siècle, un édifice de style gothique est construit et occupé par une communauté de chanoines réguliers, soumis à la règle de Saint-Augustin.

Cet ensemble est détruit au début du 18e siècle afin d’édifier une abbatiale de style classique, inspirée des modèles antiques, plus en vogue à l’époque.
À la Révolution, la fermeture de l’abbaye est imposée et l’édifice progressivement démantelé.

Les tours du Mont Saint-Éloi sont donc les derniers vestiges de l’abbatiale du 18e siècle.
Les relevés et dessins effectués vers 1830 par l’architecte Xavier Souillart restituent le plan et les élévations de cet ensemble monastique.

En 1836 pour éviter la destruction des derniers vestiges, l’État et le Département rachètent les deux tours de la façade occidentale.

Lors de la Première Guerre Mondiale les tours servent de point d’observation et sont les cibles des tirs de l’artillerie allemande. En 1921, les tours de l’abbaye sont classées Monument Historique et deviennent propriété du Département en 2008.