Пятым в банде должен был стать уже известный нам Гарри Янгблад, но ему не повезло. 17 марта 1934 года его выследила полиция в Форт-Гуроне и во время ожесточенной перестрелки он был убит наповал точным выстрелом в голову.
Свой первый налет в новом составе банда совершила в Сиу-Фолсе в Южной Дакоте. Причем Малыш Нельсон хладнокровно застрелил полицейского. После этого преступники напали на банк в Мэйсон-Сити в штате Айова и захватили 34 тысячи долларов. Затем они отправились в Монката, штат Миннесота, но там их ждала полицейская засада. Распознав ее буквально в последнюю минуту, преступники успели повернуть автомобили назад и благополучно вырвались из едва не захлопнувшегося капкана. После этого Диллинджер решил взять "тайм-аут" и отсидеться в каком-нибудь тихом местечке. Вместе со своей любовницей танцовщицей Билли Фуршет он отправился в Сент-Пол и снял там скромную квартирку. Но их размеренная и спокойная жизнь длилась недолго.
Соседи из дома напротив, люди весьма любознательные, регулярно читали газеты. А в них довольно часто писали о неуловимом бандите Джоне Диллинджере и даже публиковали его фотографии. И вот однажды, сличив эти изображения с тем, кого они каждый день видели возле своего дома, соседи догадались, кого занесла нелегкая в их края. Звонок в полицию не заставил себя долго ждать. Случилось это днем 30 марта.
И вновь, как и много раз, у полиции была реальная возможность застать Диллинджера врасплох. На стороне полиции была и внезапность, и численное превосходство, и лучшее вооружение. Но не было главного - удачи. Той самой, которая постоянно сопуствовала Джону Диллинджеру. Вот и в тот раз она ему не изменила. Получив лишь легкое ранение в ногу, Диллинджер и его любовница сумели выскочить из осажденного дома и, стреляя на ходу, скрылись на автомобиле во мраке апрельской ночи.
Когда американские газеты вышли в свет с описанием этого побега, восторгу читателей не было предела. Популярность Джона Диллинджера в те дни была в зените. Как выяснилось позднее, сам директор ФБР Эдгар Гувер держал на домашнем столе его фотографию, видимо, в душе восхищаясь дерзостью и удачливостью этого бандита. А тот между тем продолжал водить за нос своих преследователей.