Когда Канарис вступил в свою должность, в Военном министерстве Германии существовал один отдел разведки. В течение 1938 г. произошла две его реорганизации, что было связано с учреждением Верховного командования вооруженными силами вместо Военного министерства, распущенного в связи с уходом Бломберга. В результате сформировалась ведомственная группа абвер, которая делилась на пять отделов: зарубежный отдел, три внутренних отдела разведки и центральное отделение, которому было подчинено все управление, финансирование и правосудие. Наконец, в 1941 г. вся организация стала управлением разведки и контрразведки, в рамках которой прежний зарубежный отдел был реорганизован, в то время как другие отделы разведки и центральное отделение остались по существу без изменения.

Управление и образованная позднее зарубежная группа должны были поддерживать связь между Верховным командованием вермахта и Министерством иностранных дел. Он был одновременно центральным отделом для германских военных, морских и военно—воздушных атташе за границей и «заботился» о военных атташе иностранных государств в Германии. Наконец, он имел также особый отдел, занимавшийся международными вопросами, если они затрагивали интересы вермахта. К шпионажу, то есть к получению разведданных из—за границы тайными путями, зарубежный отдел или группа не имели никакого отношения.

Это было исключительно задачей первого отдела разведки. Его обязанностью была так называемая тайная служба осведомления. Она получала через свои заграничные посты сообщения от доверенных лиц, находящихся за границей, в которых содержались важные для военного руководства Германии сведения, касающиеся вооруженных сил, военной техники и военной промышленности государств — возможных противников, а также предполагаемых нейтральных стран.