Канарис привел в абвер майора Рудольфа Бамлера и назначил его руководителем отдела контрразведки, работавшего в тесном контакте с гестапо. Выбор объяснялся тем, что Бамлер был одним из немногих офицеров Генерального штаба, кто открыто выражал свои симпатии к фашизму и был дружен с некоторыми видными нацистами

Эта явно односторонняя услужливость перед Гейдрихом была плодом трезвого расчета, а не отражением истинных чувств Канариса. Канарис умиротворял нацистов главным образом для того, чтобы получить возможность развивать абвер в соответствии со своими амбициозными планами: сделать его самой большой и лучшей секретной службой в мире.

Абвер был реорганизован, и были созданы три оперативных отдела. Бывший Geheimer Meldedienst (разведывательный отдел, занимавшийся сбором информации и агентурными операциями) был значительно расширен и стал называться первым отделом. Новый второй отдел должен был осуществлять диверсионную и подрывную работу, а также вести «черную» пропаганду. В Баварии на Куензее был создан учебный лагерь для подготовки диверсантов, а в Берлине и Тегеле были организованы лаборатории для разработки оснащения диверсантов, а также шпионов из первого отдела нужным оборудованием: от чернил для тайнописи в виде зубного эликсира до взрывчатки, похожей на муку. Контрразведкой занимался третий отдел.

Личный состав набирался сотнями, а командный состав привлекался из Генерального штаба. Шеф абвера назначил весьма разнородное трио для руководства новыми отделами: добродушный, аполитичный, независимый благодаря своему богатству рейнландец Ганс Пикенброк стал организатором секретной разведки (эвфемизм слова «шпионаж»); чувствительный, глубоко религиозный, ярый антифашист Гельмут Гроскурт возглавил отдел саботажа и диверсий; и нацист Бамлер стал ответственным за деликатную контрразведывательную работу.