Такэдзо любил мать, но она покинула его отца и уехала, когда мальчик был совсем маленький, бросив ребенка с Мунисаем, суровым и строгим человеком, который при всем желании не сумел бы избаловать сына. В присутствии отца мальчик всегда чувствовал, себя скованным, никогда не бывая самим собой. Однажды, в девятилетнем возрасте, он так затосковал по материнской ласке, что убежал из дома и отправился пешком в провинцию Харима, где жила его мать. Такэдзо так и не узнал, почему расстались родители, да и вряд ли в детские годы он понял бы их объяснения. Мать вышла замуж за другого самурая и родила от него ребенка.

Добравшись до Харимы, маленький беглец быстро отыскал мать. Она повела его в рощу за местным храмом и там, обливаясь слезами и прижимая мальчика к себе, пыталась объяснить, почему он должен вернуться к отцу. Такэдзо запомнил эти минуты, они навсегда врезались ему в память.

Конечно, как истинный самурай, Мунисай немедленно послал людей в погоню за сыном. Всем было ясно, куда мог уйти мальчик. Такэдзо привезли в Миямото, примотав веревками к крупу неоседланной лошади, как вязанку дров. Мунисай вместо приветствия обозвал сына наглым ублюдком и в припадке ярости сек его до тех пор, пока сам не выбился из сил. Такэдзо никогда не забудет, с какой ненавистью отец вынес ему приговор:

– Если еще раз уйдешь к матери, я откажусь от тебя!

Вскоре после этого происшествия Такэдзо узнал; что мать заболела и умерла. С ее смертью из замкнутого хмурого паренька он превратился в дебошира, даже Мунисай побаивался сына. Когда Мунисай поднимал на него трость, Такэдзо хватался за палку. Лишь Матахати, тоже сын самурая, не боялся Такэдзо, а все деревенские дети беспрекословно подчинялись ему. К тринадцати годам Такэдзо выглядел почти взрослым.