К несчастью для собственных детей, он был ревностным кальвинистом, и каждый воскресный день превращался для них в епитимью. Манеры его отличались чопорностью, а привычки умеренностью; для развлечения он читал отцов церкви и ходил на похороны. Представительная внешность делала его желанным гостем на погребальных церемониях, которыми он, по всей видимости, от души наслаждался, ибо весь личный состав дальних родственников находился у него на строгом учете с одной-единственной целью — не упустить удовольствия проводить их в последний путь; проводы эти иногда осуществлялись под его персональным руководством, а то и за его счет. Его жена Анна, дочь доктора Джона Резерфорда, профессора медицины Эдинбургского университета, была маленькой, скромной, безыскусной и общительной женщиной. Она любила баллады, всяческие истории и родословные. Сын Вальтер, которого и в дни его славы она продолжала называть «Вальтер, ягненочек мой», был ей предан. «Доброе матери невозможно представить, и если я чего-то достиг в этом мире, то главным образом потому, что она с самого начала меня ободряла и следила за моими занятиями» — в таких словах вылилось сыновнее чувство к умирающей матери.

Справив свадьбу в 1758 году, фермерский сын и дочь профессора поселились в узком грязном переулке под названием Якорный конец, а затем перебрались в столь же непрезентабельный Школьный проезд, что рядом со старым зданием Эдинбургского колледжа. Адвокат прилично зарабатывал, а жена одного за другим произвела на свет десять младенцев, из которых шестеро умерли в нежном возрасте. Это даже по тем временам считалось выше среднего уровня смертности, и в 1773—1774 годах переживший у грату отец, выбрав на площади Георга, рядом с Луговой аллеей, более полезный для здоровья участок, построил дом, где у него появились еще двое детей. Наш Вальтер, девятый по счету, родился в Школьном проезде 15 августа 1771 года. По странной иронии судьбы в этот же день, хотя двумя годами раньше, на Корсике родился мальчик, нареченный Наполеоном Бонапартом, которому предстояло оставить столь же глубокий, но менее стойкий след в истории, как нашему шотландскому младенцу — в литературе. Однако несколько лет казалось, что Вальтер не жилец на этом свете: раннее его детство — это бесконечные несчастные случаи, болезни, а также лекарства и процедуры куда более смертоносные, чем преследовавшие его недуги.