Келлер родился 19 июля 1819 года в Цюрихе, старинном городе с десятитысячным населением, разделенным по сословным и корпоративным признакам. Узкие, кривые улицы, готические здания, башни с бойницами и крепостные стены придавали Цюриху вид типичного средневекового города, каким он и оставался на протяжении многих столетий, будучи в то же время важнейшим политическим и культурным центром немецкой Швейцарии. К середине XIX века он становится одним из оплотов буржуазно-демократического объединительного движения. В эти годы здесь живут многие швейцарские писатели и художники, а также политические эмигранты из Германии и других стран (Энгельс, Вейтлинг, Фрейлиграт, Бакунин и другие).

Отец Келлера, одаренный и образованный ремесленник, проявивший себя горячим сторонником государственного единства Швейцарии, умер от чахотки, когда будущему писателю едва минуло пять лет. Вдова осталась с двумя детьми без всяких средств к существованию.

Своеобразная противоречивая натура проявилась у Келлера уже в раннем детстве. Замкнутый, угрюмый мальчик изумлял окружающих резкой сменой настроений. Его прирожденный юмор и беззлобная насмешливость обычно воспринимались как проявление своеволия и грубости, а неистощимая фантазия служила источником постоянных недоразумений и неприятностей. Вечно озабоченная мать больше всего пеклась о религиозном воспитании сына и обильно уснащала свои поучения цитатами из Священного писания. Но фактически ребенок был предоставлен самому себе и привык самостоятельно находить ответы на мучившие его вопросы.

Все особенности своего трудного и сложного характера, не исключая и пристрастия к беспощадному критическому самоанализу, Келлер впоследствии перенес на Зеленого Генриха, избавив его только от портретного сходства с самим собой и, следовательно, от душевной травмы, вызванной физическим недостатком: массивная голова и непропорционально короткое, приземистое туловище делали его самого похожим на гнома.