Het museum bevindt zich in de oudste kern van de stad. De naam 't Gasthuys verwijst naar het voormalige hospitaal dat op deze site gevestigd was.
Al in de 12e eeuw vormde deze plaats, toen het Zelhof genoemd, het centrum van de bedrijvigheid in Aalst en in 1242 werd de grond door Johanna van Constantinopel afgestaan aan de stad om er een hospitaal te bouwen (in de volksmond 'een gasthuis'). Wat later wordt ook de 'graanhalle' aan het hospitaal geschonken waardoor zij zich kunnen beroepen op het 'lepelrecht': dit is het recht om van alle granen, bonen, erwten die in de 'graanhalle' verkocht worden, een lepel te scheppen en zich zo te verzekeren van een belangrijk bron van inkomsten.
Oorspronkelijk was het slechts een klein kloostergebouwtje met kapel en ziekenzaal, maar het complex in zijn huidige vorm dateert voornamelijk uit de 15de tot 17de eeuw met nog enkele verbouwingen en uitbreidingen in de 18de en 19de eeuw, bijvoorbeeld de pastoorswoning en het dispensarium. Er was ook een boerderij aan verbonden met een aantal schuren, stallen en een woonhuis.
In dit gebouw is nu het museum gevestigd, je ontdekt er alles over de geschiedenis van de stad.
