Toen een zekere Alfred Van de Walle op 6 maart 1882 een terracotta-kop in vrij gehavende toestand aan het voormalige Oudheidkundig Genootschap van Brugge ten geschenke gaf, kon hij, noch de begiftigde vereniging, nauwelijks vermoeden dat dit kunstwerk het eens tot het vedettestuk van het latere Gruuthusemuseum, en tot een zeer bekend nummer uit Vlaanderens kunstbezit zou brengen.
Deze vorstenkop, die men toen dacht met Filips de Schone te mogen vereenzelvigen, werd lange tijd als tuinversiering bij een leperse familie aangewend. Te leper geveild, kwam het werk via de bovenvermelde milde schenker terecht in de Brugse verzamelingen, die aan de basis lagen van het pas in 1954 stedelijk geworden Gruuthusemuseum.
Nopens de vroegere herkomst van het stuk, tast men vooralsnog in het kunsthistorische duister. En even onduidelijk zijn ook de eerste levensdagen van het stuk als museumobject te Brugge. Men weet bijvoorbeeld weinig af van de concrete toestand, waarin de kop en de misschien nog fragmentair bewaarde buste zich toen bevonden. Nu nog wordt er geredetwist of het houten en afneembare hoofddeksel al dan niet als oorspronkelijk moet worden aangezien.
Wat met zekerheid blijkt, is dat het toenmalige beheer van het archeologische genootschap de kop onmiddellijk liet restaureren en opnieuw polychromeren, terwijl het ook de buste volledig liet bijwerken en vernieuwen. Het allervoornaamste gedeelte van deze portretbuste, het aangezicht dus, lijkt niettemin in elk geval zeer authentiek te zijn.
Het duurde dan ook niet zo heel lang voor men de ware identiteit van de geportretteerde wist te onthullen, en ook de naam van de vermoedelijke kunstenaar voorop kon stellen. In de Gazette des Beaux-Arts van 1888 kon H. Hymans de portretbuste voor het eerst identificeren met die van Keizer Karel de Vijfde en toeschrijven aan de bekende Conrat Meit van Worms, een der belangrijkste kunstenaars van de Renaissance benoorden de Alpen. Aan genoemde identificatie twijfelde sindsdien wel niemand meer ; voor de Meit-toeschrijving echter maakten bepaalde geleerden nog al eens voorbehoud. Conrat Meit, land-, tijd- en geestesgenoot van Dürer, werd in ieder geval als officieel beeldhouwer en boetseerder opgenomen in de zeer kunstminnende kring der Nederlandse Habsburgers. Zijn grootste opdrachtgeefster alhier is wel Margaretha van Oostenrijk, Keizer Kareis tante, geweest. Hij schiep vooral voor vorstelijke kamers bestemde statuetten en portretten, waaronder we inderdaad gemakkelijk de besproken buste van de hier nog jonge Karei zouden kunnen onderbrengen.