Дар необычайной наблюдательности проявился у Диккенса, когда ему не было еще и двух лет: уже взрослым он вспоминал сад возле дома на Хок-стрит, где он на неверных ножках ковылял вслед за старшей сестрой под присмотром няни, следившей за детьми из кухонного окна; отчетливо помнил он и как его водили смотреть на солдат, обучавшихся маршировке, и зимний Портсмут, покрытый снегом в день их отъезда в Лондон.

С 1814 года Диккенсы жили в Лондоне, а в 1817 переехали в Чатем, где Джон Диккенс занял ответственный пост в расчетной части Адмиралтейства: жалованье его со ста десяти фунтов в год постепенно возросло до трехсот пятидесяти. Четыре года они прожили в доме № 2 по улице Орднанс Террас (теперь это дом № 11), еще два — на площади Сейнт-Мэри-Плейс в Бруке (дом № 18), и этому времени суждено было стать самым счастливым в жизни маленького Чарльза. Зрелым человеком он с наслаждением вспоминал далекие чатемские дни и в эти минуты отдыхал душою. Для него детство было «счастливым сном, запомнившимся на всю жизнь». Такой яркий след оставило оно, что он мог восстановить «каждое событие тех давних лет, каждую мелочь, даже случайное словечко, даже вскользь брошенный взгляд». Он видел все, он все замечал, он ощутил покой созерцания и радость первых открытий. Он был болезненным ребенком (его часто мучили колики) и поэтому не, мог играть с другими детьми, но любил, ненадолго оторвавшись от своих книг, хотя бы посмотреть, как они резвятся.

Соседский мальчик, немного постарше Чарльза (впоследствии Диккенс изобразил его под именем Стирфорса

Читать и писать Чарльз научился у матери, она же учила его латыни, но заниматься с ним регулярно не могла: то и дело заботы об очередном новорожденном отрывали ее от сына, что невольно настораживало Чарльза, заставляя его чувствовать кажущуюся непрочность, непостоянство материнской любви.