Прекрасно понимая, что теперь его будут ждать засады во всех крупных городах, он совершает немыслимый маневр. 5 апреля 1934 года он направляет свой автомобиль в Индиану, в родной для себя город Муррисвилл. Там он навещает отца, просит у него прощения за все свои грехи и просит благословения на свадьбу с Эмили Фуршет. Отец прощает своего заблудшего сына и благословляет его на семейную жизнь. Позднее он заявит журналистам: "Мы не готовились к встрече с Джоном. Мы просто собрались за воскресным обедом, когда он внезапно появился. После этой встречи мне кажется, что если Джона освободят условно или простят за то, что он сделал, а он сделал не так много, как говорят об этом люди, то он может исправиться. Надо дать ему шанс".

Однако подобного шанса Диллинджеру никто давать не собирался.

Совместная жизнь Диллинджера и Фуршет продлилась недолго: 9 апреля девушку арестовали и отдали под суд за укрывательство преступника. Диллинджера это взбесило, и 15 апреля вместе с Ван-Миттером они прибыли в городок Варшава в штате Индиана. Им нужно оружие, а не деньги - они напали на один из местных полицейских участков. В тот час там находился полицейский по фамилии Петинджер. Он сидел за столом и что-то писал, когда внезапно в помещение ввалились двое вооруженных людей. Это были Диллинджер и Ван-Миттер. Разоружив полицейского, Диллинджер забрал у него ключи от оружейной комнаты и удалился. Ван-Миттер остался на месте, держа Петинджера на мушке. Самое интересное, что все это из дома напротив видел пожарный, однако телефона у него под рукой не оказалось, а покидать свой пост он не имел права. Вот и пришлось ему быть безучастным наблюдателем. А события едва не завершились трагически.

Петинджер, воспользовавшись удобным моментом, внезапно набросился на Ван-Миттера и попытался выбить у него из рук револьвер. Однако бандит оказался проворнее и встретил полицейского мощным ударом кулака в лицо. Петинджер рухнул, и Ван-Миттер, не давая ему опомниться, довершил дело ударом рукоятки пистолета по голове.