De stad is ontstaan rond de Benedictijnerabdij van Gembloers die dateert uit de tiende eeuw. De abdij huisvest nu de Gembloux Agro-Bio Tech (GxABT), een onderdeel van de Universiteit van Luik.
In de Slag bij Gembloers versloegen de Spanjaarden begin 1578 het leger van de Staten-Generaal van de 17 Nederlandse provinciën, die zich na de Pacificatie van Gent hadden aaneengesloten.
Ter hoogte van Gembloers, tussen Waver en Namen, bevindt zich het zogenaamde “Gat van Gembloers” zonder natuurlijke hindernissen. Dat was de zwakke schakel in de Belgische verdedigingslinie bij de Duitse invasie in mei 1940, aan het begin van de Tweede Wereldoorlog. Het Franse Eerste Leger en het Duitse Zesde Leger hebben hier op 14 en 15 mei 1940 zwaar gevochten. De Slag om Gembloers was samen met de Slag om Hannuit een van de eerste grote tankslagen in de krijgsgeschiedenis.