Анри де Тулуз-Лотрек родился 29 ноября 1864 года в городке Альби в замке дю Боек. В Альби в настоящее время находится одно из крупнейших собраний его картин, литографий, рисунков — известный музей Анри де Тулуз-Лотрека. Маленький Анри вырастает под опекой матери среди своих двоюродных братьев и сестер. Он растет в семье, где вечерним досугом часто бывает рисование. Известно, что отец и мать Тулуз-Лотрека были замечательными рисовальщиками. Особенно отец. Мать посвящает все свое время сыну (когда Анри исполнилось три года, у него родился брат, вскоре, однако, умерший).

В 1873 г. вся семья переезжает в Париж, где Анри поступает в лицей Фонтан. Мальчик учится блестяще. В лицее он встречается с двумя своими будущими друзьями, имена которых следует назвать. Луи Паскаль и Морис Жойян, известный впоследствии торговец картинами, сменивший Тео Ван-Гога в фирме Гупиль. Лотрек два раза выставляет у Жойяна. Третья выставка была посмертной. Жойян пишет первую большую двухтомную монографию о Тулуз-Лотреке с наиболее полной пока библиографией его произведений (1926-27). Он же впервые приводит в ней сведения о том, что Лотрек в лицее получал первые премии по латыни, французской грамматике и английскому языку. С английского языка Лотрек переводит впоследствии книгу о соколах. Однако уже в 1875 г. у Лотрека проявляются первые признаки частых заболеваний и будущих нервных припадков. Он вынужден прервать учебу в лицее. Частные учителя под наблюдением матери руководят его занятиями. Отец тем не менее все еще продолжает брать сына с собой на охоту, учит его ездить на лошади в надежде вырастить достойного продолжателя дворянского рода. Вскоре, однако, происходит несчастный случай, который изменяет течение всей последующей жизни Лотрека (точно так же как отношение к нему отца).