Het thema van het schilderij is ontleend aan de bijbel, meer bepaald aan hoofdstuk XI, verzen 1 tot 9, van de Genesis. Ter verduidelijking van het schilderij kunnen volgende bewoordingen van de H. Schrift hier nuttig geciteerd worden : 'Nog sprak heel de aarde éénzelfde taal. Komt, zeiden de mensen, laat ons in de vlakte van het land Sjinar een stad bouwen met een toren waarvan de spits tot in de hemel reikt'. De toren werd Babel genaamd, Hebreeuws woord dat, althans volgens de Genesis, 'verwarring' betekent. En inderdaad, vervolgt de Schrift : 'De hoogmoed van de mensen misnoegde uitermate Jahweh. Deze besloot ze zwaar te straffen door hun spraak in verwarring te brengen, opdat ze elkanders taal niet meer zouden verstaan'.
Vlak in het centrum van dit bijzonder groot paneel te Gaasbeek - de oppervlakte ervan overtreft 3 m2 - plaatst Maarten van Valckenborch de enig stoere en enig rijzige toren. De opbouw is niet ten einde : op en rondom de reusachtige werf heerst de koortsachtige bedrijvigheid van ontelbare werklui. Een natuur-rots scheidt de voorgrond in twee gelijke delen. Op de linkerheuvel, vooraan, verschijnt een vorst, wiens staatsiemantel door een edelknaap gedragen wordt en wiens gevolg een aantal gewapende officieren telt : het is wellicht Nemrod, uit het geslacht van Noach, die samen met de bouwleider, aan zijn linkerzijde, de vorderingen van deze stoute onderneming persoonlijk komt gadeslaan. Ondanks dat hoge bezoek wordt het werk onverstoord voortgezet. Juist aan de voeten van de koning worden zware steenblokken door middel van windassen, en niet zonder moeite, uit de groef opgehesen. Enkele stappen verder geven de steenkappers, onder het toezicht van een meestergast, de gevergde afmetingen aan de grote blokken, die achteraf door paarden naar de bouw worden gereden.
Aan de andere kant van de reeds genoemde natuur-rots, kan men de opeenvolgende stadia van de metaalbewerking volgen : na uit de grond te zijn opgehaald, wordt het erts naar de werkplaats gevoerd en met volle manden in de hoogovens gestort, vervolgens in de overdekte smidse bewerkt, waar een watermolen voor de vereiste drijfkracht zorgt. Dat laat de toeschouwer toe met voldoende nauwkeurigheid na te gaan op welke wijze de metaalnijverheid ca. 1600 in West-Europa plaatsvond.