Мать Билла была одаренной женщиной, интересовалась музыкой, живописью и литературой, окончила женский колледж, рисовала, писала стихи, унаследовав литературные способности от своего отца, редактора городской газеты. Бабка — «матушка Портер» — была суровой, твердой в убеждениях типичной южанкой, хорошо знавшей фельдшерское и акушерское дело и до восьмидесяти пяти лет руководившая работами в огороде.

Таким образом, в жилах будущего писателя бродили как гены янки, так и южных «аристократов», а также, как выяснилось позже, Стюартов, английских парламентариев, аболиционистов, государственных деятелей, ученых и даже, по боковой линии, — В. Франклина.

Между тем отец Билли, начавший после смерти жены частенько заглядывать в бутылку, увлекся изобретением вечного двигателя, что, по его мнению, должно было облегчить труд негров на плантации, пока облегчал только свои карманы и стремительно сокращал практику, что заставило бабку и одну из теток юного Портера взять на свои плечи не только ведение хозяйства, но и воспитание оставшихся фактическими сиротами детей.

В те времена в Гринсборо школ не было, и тетка Лина, имевшая диплом колледжа, сначала открыла учебный класс для своих племянников, а затем стала принимать в него всех желающих, что положительно отразилось и на семейном бюджете. В школе мисс Лины Уилл проучился девять лет, начав с пятилетнего возраста. В школьные годы Уилл совершил и первое путешествие «к океану», прекращенное на соседней станции из-за нехватки денежных средств. Были игры в индейцев и множество других детских развлечений. Но больше всего Билли читал, проглатывая все книги, попадавшиеся ему в библиотеке. Скотт, Диккенс, Теккерей, Бульвер-Литтон, Дюма, Гюго, Ч. Рид, Шпильгаген, Ауэрбах соседствовали с «Тысяча и одной ночью», «Анатомией меланхолии» Р. Бэртона, а объемистый Энциклопедический и толковый словарь Уэбстера стал его спутником на многие годы.