В 1923 году Николаи становится вдохновителем тайной операции, имеющей международное значение. Германия, которой Версальским договором запрещено производить оружие, начинает изготавливать его в СССР — самолёты Юнкерса, подводные лодки, отравляющие вещества. В конце 1920-х — начале 1930-х годов Николаи сохраняет неофициальное, но значительное влияние в секретных службах. Ему даже предлагают вернуться на прежний пост. Но Геббельс высказывается против такого назначения: ему нужен человек помоложе и более убеждённый нацист.

Вальтер Николаи поступает на службу в разведку министра иностранных дел Риббентропа, по его заданию устанавливает связи с зарубежными спецслужбами Именно он направил в Китай, а затем в Японию майора Ойгена Отта (будущего «друга» Зорге) с целью модернизации японской разведки; он подстрекает австрийские спецслужбы к поддержке аншлюса.

В 1934 году Николаи становится советником шпионского ведомства нацистской партии и одновременно советником Гейдриха и Мартина Бормана. В 1935 году по его инициативе создаётся Бюро по делам евреев.

Николаи всё чаще смотрит в сторону Советского Союза, становится сторонником сближения с ним и одним из соавторов идеи заключения в 1939 году германо-советского пакта.

Шеф абвера Канарис подозревает Николаи в симпатиях к СССР. В 1943 году Гитлер отдаёт приказ о проведении расследования деятельности Николаи. Но, по неизвестной причине, шеф гестапо Мюллер, исполнительный Мюллер, потихоньку прикрывает это дело. Западный историк Пьер де Вильмаре предполагает, что Мюллер и Николаи к этому времени уже установили связь с советской разведкой. Не случайно в 1945 году в возрасте семидесяти двух лет Николаи предпочёл сдаться не союзникам, а советским войскам.

Далее его следы теряются. Историк абвера Герт Бухгайт утверждает, что после 1945 года Вальтер Николаи находился в советском лагере военнопленных, где и умер.