Henri-Marie-Raymond de Toulouse-Lautrec-Monfa werd geboren te Albi, op 24 november 1864, als afstammeling van de familie der graven van Toulouse. Over de excentrieke gedragingen van zijn vader doen heel wat geruchten de ronde, die weliswaar passen in het archief van de anekdotische geschiedschrijving, doch in feite met het leven van de kunstenaar weinig uitstaans hebben. In ieder geval was Graaf Alphonse de Toulouse-Lautrec een hartstochtelijk jager en ruiter, en hij verwachtte dat zijn zoon dat eveneens zou worden.
De belangstelling voor de sport is wel van de graaf op zijn zoon overgegaan, doch ook niet méér. Inderdaad, door een ongelukkige val, eens toen hij 14 en eens toen hij 15 jaar oud was, breekt de jonge Henri achtereenvolgens zijn linker- en rechterdijbeen, met het noodlottig gevolg dat de groei van zijn onderste ledematen volledig gestremd en hij voor het leven verminkt wordt. Van dat ogenblik af interesseerde zijn vader zich nog nauwelijks voor de verdere opvoeding van zijn zoon, want hij begreep niets van diens artistieke neigingen. Tegenover zijn moeder stond Lautrec helemaal anders, alhoewel ook zij niet veel begrip opbracht voor zijn kunst. Toch hield zij zeer veel van hem, en ook omgekeerd bleef Lautrec tot aan zijn dood zeer aan zijn moeder gehecht. Van in zijn kinderjaren gaf Lautrec blijk van schilderstalent. Als negenjarige knaap, in 1873 bezocht hij reeds het atelier van de dierenschilder René Princeteau (1839-1914). Die leertijd was vermoedelijk voor hem even belangrijk als de latere leerjaren, van 1882 af, in de ateliers van Léon Bonnat en Fernand Cormon te Parijs.
Rond 1884 onttrok hij zich meer en meer aan het academisch onderricht en het jaar daarop vestigde hij zich in zijn eigen atelier, gelegen in de Rue Caulaincourt, nabij het kerkhof van Montmartre. Om de hoek bevond zich de tuin van 'Père Forest', een oase van rust aan de rand van de grootstad, waar Lautrec talrijke openluchtportretten schilderde. Op een paar stappen vandaan lagen ook de amusementsgelegenheden aan de grote boulevards, de 'Moulin Rouge', Aristide Bruants 'Mirliton', het 'Elysée-Montmartre', en nog wat hoger de 'Moulin de la Galette' en de andere danszalen en café's op de 'butte'.