In 1920 werd de verzameling van de tweede verdieping van het gotische stadhuis naar de Savoyestraat overgebracht. Het nieuwe Museum Vander Kelen-Mertens, genoemd naar de schenker, werd plechtig ingehuldigd op 12 september 1920. Zoals uit de catalogus van 1927 blijkt, werd het herenhuis zonder enige moeite gevuld met de stedelijke verzameling. Uit deze eerste en volledige, gedetailleerde lijst van 740 stuks kunnen we reeds de rijkdom en diversiteit van de verzameling aflezen. Al vlug bleek ook deze nieuwe behuizing te klein. Conservator Demunter vergrootte het museum met enkele zalen. Zowel het uitbreidingsproject van 1928, als dat van 1937, financierde hij zelf.
Maar ook de collectie bleef groeien. De moderne kunstwerken werden aangevuld met het legaat van de vroegere stadssecretaris August van Ermen. Hij schonk werk van o.m. Jef Lambeaux, Constantin Meunier, Eugène Laermans, Jacob Smits, Anto Carte, Jules de Bruycker, James Ensor en Armand Rassenfosse. Demunter richtte hiervoor een eigen zaal in, die in 1930 plechtig werd ingehuldigd. Deze schenking gaf ook de aanzet tot een reeks kunstenaarstentoonstellingen waarbij steeds een monografie werd uitgegeven. Dit was het geval voor o.m. Constantin Meunier en Jean Hodru. Het boek over P.J. Verhaghen, hofschilder van keizerin Maria Theresia, werd Demunters meesterstuk dat tot vandaag als een basiswerk wordt beschouwd.
Dat het stadsmuseum Victor Demunter nauw aan het hart lag, blijkt niet alleen uit de jaren van vrijwillige goede zorgen. Bij zijn dood kreeg het museum de belangrijkste schenking uit zijn geschiedenis. Het Leuvens karakter van de verzameling bleef weliswaar aanwezig, maar werd door dit legaat slechts een deelaspect. Het legaat Demunter was zeer omvangrijk en divers. Vooreerst behelsde het de kunstverzameling van Edouard van Even die, wantrouwig wat betreft de stedelijke kunstpolitiek, zijn collectie pas wou schenken als de toekomst van het museum was verzekerd.
Via Van Evens zusters Eugenia en Maria kwam Demunter in 1911 in het bezit van 48 gotische beelden, voornamelijk uit Leuvense kerken en kloosters en daterend uit de 14e tot 16e eeuw; 45 stukken edelsmeedwerk van vooral Leuvense makelij; een zeer belangrijke brandglasverzameling en verscheidene schilderijen, tekeningen en schetsen van de barokschilder Verhaghen. Van Even schonk ook talrijke meubelen, glaswerk, koper, 16e-eeuws tin en porselein, evenals een waardevolle collectie van voornamelijk 18e-eeuwse Oostenrijkse medailles en matrijzen van zegels en penningen.
De eigen verzameling van Demunter was veel omvangrijker, maar niet op Leuven toegespitst. Hij verzamelde stukken omwille van hun esthetisch en kunsthistorisch belang. Zijn collectie schilderijen bevatte o.m. een Quinten Metsys, Cornelius de Vos, Frans Francken II, Joost de Momper, Theodoor van Loon en Gaspar de Crayer. De 75 sculpturen die hij schonk, zijn op het eerste zicht minder indrukwekkend daar het zowel anonieme 16e-eeuwse laat-gotische sculpturen, als 17e-eeuwse beelden, en werk van zijn jeugdvriend, de neogotieker Frantz Vermeylen, betreft.
Maar vooral zijn verzameling voorwerpen, die meestal onder de noemer toegepaste kunst gerangschikt wordt, is indrukwekkend. De keramiekverzameling biedt een overzicht van de produktie van Japans en Chinees exportporselein, mooi Brussels porselein, terwijl de collectie Delftse faience ‘s lands tweede belangrijkste verzameling is.