De Graventoren is gebouwd op de ruïne van een waterburcht uit de 12de eeuw, opgericht door de graven van Vlaanderen.
In de 13de eeuw vergrootte Margaretha van Vlaanderen haar kasteel; de 'burcht met zeventien torens' krijgt vorm. In de veertiende eeuw werd het grote zaalgebouw langs de Schelde toegevoegd. Het kasteel vormde de achtergrond van verschillende historische terechtstellingen en gevangenisstraffen. Ook Mercator zat hier gevangen op beschuldiging van ketterij.
Het slot deed daarna, tot in 1748, dienst als militaire verschansing. In 1817 deed baron de Feltz, schoonvader van graaf Filips Vilain XIIII de puinen wegruimen en bouwde op de laatste overgebleven torenvoet een paviljoen van baksteen. Van de huidige toren is enkel het benedendeel van Doornikse kalksteen oorspronkelijk. Elk van de vier bouwlagen bevat spitsbogige vensters, met baksteen tot schietgaten gedicht.
Bovenaan de toren staat een oriëntatietafel en heeft men een mooi uitzicht over Rupelmonde en de Scheldestreek.
Expo 'De geheimen van het Gravenkasteel'
Je kan kennismaken met de geschiedenis van de Graventoren via de tentoonstelling 'De geheimen van het Gravenkasteel'.
Ook Mercator wordt in het begin van 1544 te Rupelmonde, waar hij de nalatenschap van zijn grootoom Gijsbrecht is gaan regelen, opgepakt en daar in het kasteel, dat al vaak tot gevangenis had gediend, opgesloten. De reden van zijn aanhouding is onduidelijk, maar zijn onderzoekende geest en kritische interpretaties in verband met de bijbel en het wereldbeeld, zullen vast een voldoende aanleiding zijn geweest.
