Однако правительство, опасаясь возмущения народных масс и не имея возможности дать всем хлеба, решило дать хотя бы зрелищ. В стране открылась целая сеть различных игорных и увеселительных заведений, которые тут же попали под "крышу" гангстеров. "Ямагути гуми" контролировала в Кобэ городской оптовый рынок, ряд увеселительных заведений и самое доходное место - порт. Когда в 1934 году портовые рабочие, возмущенные низкими заработками, решили устроить забастовку, портовые и транспортные фирмы обратились за помощью к "Ямагути гуми". На строптивых рабочих была направлена "пехота", в рядах которой был и Кадзуо Таока. Именно он во время столкновения выхватил нож и ударил им одного из самых активных рабочих. После этого он покинул поле боя, чтобы не попасть в руки полиции. Несколько дней группировка скрывала его на одной из конспиративных квартир, а после того как с полицией удалось договориться, Кадзуо сдался на милость властей. В результате этой "джентльменской" сделки Кадзуо отсидел в тюрьме всего лишь год и в октябре 1935 года вышел на свободу. У ворот тюрьмы его встречал сам "крестный отец" Набору Ямагути, который торжественно объявил, что Кадзуо из членов низшей касты "сансита" переводится в разряд "сыновей". Теперь, чтобы стать одним из руководителей группировки, ему предстояло перешагнуть только одну ступень - "брата".

К тому времени, как Кадзуо вышел на свободу, "Ямагути гуми" была уже одной из сильнейших группировок в Кобэ и контролировала почти все увеселительные заведения в городе. Эту сферу деятельности и доверил "крестный отец" группировке Таоке. Однако он занимался этим шоу-бизнесом недолго. В 1937 году один из членов соседней группировки на глазах у многих свидетелей оскорбил Таоку, тот выхватил самурайский меч и зарубил обидчика. На этот раз судебное решение оказалось не столь мягким, как в первый раз, и Таока отправился за решетку на целых восемь лет. Однако, как это ни странно, но этот приговор спас Таоке жизнь и позволил ему вскоре совершить стремительный рывок к вершинам власти.