• польское отделение — резидентура в Варшаве и ее филиал в Данциге, работавшие также на территории Восточной Пруссии, Галиции и Прикарпатской Украины;

• центральноевропейское отделение — резидентура в Берлине и руководимые ею филиалы в Париже, Риме и Брюсселе, а также резидентура в Лондоне, которая отвечала и за работу в США;

• южноевропейское и балканское отделение — резидентура в Вене с филиалами в Праге, Будапеште, Белграде, Софии, Бухаресте и резидентура в Константинополе, отвечавшая за работу в Египте и Алжире;

• восточное отделение — работа на территории Турции и Персии через полномочные представительства на Северном Кавказе и в Закавказье, а с территории Дальневосточной республики — против Китая, Японии и частично США;

• американское отделение — резидентуры в Нью-Йорке и Монреале

6 февраля 1922 года декретом ВЦИК ВЧК была упразднена, а на ее месте создано Государственное политическое управление (ГПУ) при НКВД РСФСР. А после образования СССР постановлением Президиума ЦИК от 2 ноября 1923 года ГПУ было реорганизовано в Объединенное государственное политическое управление (ОГПУ) при СНК СССР. Что касается ИНО, то он вошел в состав созданного в ОГПУ Секретно-оперативного управления.

В «Положении о закордонной части ИНО СОУ ГПУ» в части о его зарубежной работе говорилось:

«Закордонная часть ИНО ГПУ является организационным центром, сосредотачивающим все руководство и управление зарубежной работой разведывательного характера, проводимой ГПУ».

«Для выполнения всех вышеизложенных задач за границей в определенных пунктах по схеме, вырабатываемой Закордонной частью ИНО ГПУ, имеют местопребывание уполномоченные, именующиеся резидентами»

13 марта 1922 года Иностранный отдел возглавил Меер Абрамович Трилиссер, а прежний руководитель Соломон Могилевский был откомандирован руководить Закавказской ЧК. Здесь надо отметить, что если Давтян и Могилевский недолго проработали в разведке, то Трилиссера по праву можно считать ее фактическим основателем.