Tomēr viņš bija un palika grūti audzināms bērns. Viņš iemantoja ļauna un nejūtīga velnēna slavu. Ģimenes ārsti uzskatīja viņu par garīgu izdzimteni un deģenerātu. Tie nedaudzie draugi, kuri Džeimsam bija, apbrīnoja viņu, lai gan baidījās no viņa. Džeimss labāk par visiem rāpās kokos, peldēja, skrēja, bija visizmanīgākais palaidnībās, un neviens neiedrošinājās kauties ar viņu. Viņš bija neparasti stiprs un līdz neprātam nikns.
Deviņu gadu vecumā zēns aizbēga pakalnos un septiņas nedēļas klaiņoja tur pa naktīm, kamēr viņu atrada un pārveda mājā. Visi brīnījās, kā viņš izticis un palicis dzīvs. Neviens nezināja un Džeimss arī nestāstīja, kā viņš bija nogalinājis savvaļas trušus, kā ķēris un rijis lielas un mazas paipalas, kā iebrucis fermeru vistu kūtīs, kā iekārtojis un izklājis ar lapām un zāli alu, kur visas šīs dienas gulējis saldā rīta miegā.
Koledžā Džeimss bija slavens ar miegainību un trulumu rīta lekcijās un spožajiem panākumiem dienas lekcijās. Aizņemdamies un patstāvīgi lasīdams savu studiju biedru konspektus, viņš kaut kā ēdās cauri nīstamo rīta nodarbību vielai, toties dienas nodarbībās guva lieliskus panākumus.