Вскоре папе Алоису приходит в голову мысль, что он может обойтись без работы, жить на пенсию и сбережения. Семья перебирается в Леондинг, близ Линца.
Алоис хотел, чтобы сын пошел по его стопам и стал государственным служащим. Но у юного Адольфа была совсем иная мечта: его влекло искусство. Однажды он признался в этом отцу и сказал, что будет художником. Услышав о планах сына, папаша Алоис буквально лишился дара речи. Придя же в себя, он заорал: «Никогда, пока я жив!» Между отцом и сыном завязалась горячая словесная перепалка, завершившаяся тем, что Алоис пустил в ход кулаки. Следует заметить, что такое случалось нередко, и склонный к проявлению насилия, зачастую без всяких на то причин, почтенный чиновник и отец семейства прибегал к рукоприкладству. Клара, тихая и покорная до самопожертвования, всегда делала все возможное, чтобы всех утихомирить. Адольф, не слишком ладивший с отцом, питал к ней ничем не соизмеримую любовь. Впоследствии он скажет: «Интеллигентность в женщине не очень-то важна. Моя мать, например, выглядела бы жалкой простушкой в обществе так называемых цивилизованных женщин. Она жила исключительно для мужа и детей. Зато она дала сына Германии».
В первые школьные годы Адольф учился прилежно и хорошо. Но, по его словам, постоянные ссоры с отцом, упорно хотевшего видеть в нем будущего чиновника, привели к тому, что он утратил всякий интерес в получении высоких оценок.
Среди своих ровесников Адольф слыл заводилой. Франц Джетцингер пишет:
«Его часто видели во главе ватаги ребят. Адольф был вдохновителем и организатором детских забав и развлечений, в которых демонстрировал присущие ему ловкость и проворство. Особенно популярной была игра в „полицейских и воров“...
Адольф, как сказали мне, никогда не относился к драчунам. Он предпочитал использовать язык вместо кулаков. Его отличали бдительность и находчивость. Больше всего он любил военные игры и всегда руководил ими».