Op deze plaats werd in 1093 een eerste houten kerk gebouwd, toegewijd aan de heilige Jacobus. Hoogstwaarschijnlijk had de bouw ervan te maken met de komst van pelgrims tijdens hun tocht naar Santiago de Compostella. Het was de oudste kerk in de Zeventien Provinciën die aan hem was toegewijd. Het gebouw werd verwoest door troepen van Robert Curthose. Ze werd vervangen door een gebouw uit hout en steen.
Een nieuwe romaanse kerk werd gebouwd waarvan de kern stamt uit de periode na 1120. Het is de oudste romaanse kerk in België met een dubbele westertoren, hoewel al eerder een onvoltooid gebleven tweetorenfaçade bij de kathedraal van Doornik was begonnen. Uit de romaanse periode resten verder nog de pijlers van het transept. De achtkantige vieringtoren en de verbouwing van het koor vonden plaats rond het midden van de 13e eeuw, in de stijl van de Scheldegotiek. Een brand rond 1400 legde de zuidelijke van de twee westtorens in de as. Hoewel deze werd herbouwd is het aanzicht sindsdien niet meer symmetrisch. In de 15e eeuw breidde men de kerk uit met zijkapellen voor de gilden.
In de kerk gaan regelmatig tentoonstellingen en optredens door.
