Временно исполняющим обязанности начальника ИНО ВЧК был назначен старый большевик Яков Христофорович Давтян, до этого некоторое время возглавлявший иностранное отделение Особого отдела после Скуйскумбре. Одновременно Давтян работал в Наркомате иностранных дел заведующим отделом прибалтийских стран. В целях конспирации Давтян руководил Иностранным отделом под фамилией Давыдов

20 января 1921 года начальником Иностранного отдела был назначен другой старый большевик, член партии с 1903 года Рубен Павлович Катанян, до этого заведующий агитпропотделом ЦК РКП(б). Позднее Катанян работал в прокуратуре и осуществлял прокурорский надзор над органами ОГПУ. Но уже 10 апреля вместо Катаняна начальником ИНО вновь стал Давтян-Давыдов. Правда, он опять не задержался на этой должности, и 6 августа вместо Давтяна новым начальником ИНО ВЧК был назначен также старый большевик Соломон Григорьевич Могилевский. Давтян же был направлен в Наркоминдел.

Приказом Управления делами ВЧК № 277 от 2 декабря 1921 года были введены новые штаты ИНО, а также утверждена расстановка личного состава отдела:

• начальник отдела — Соломон Григорьевич Могилевский;

• заместитель начальника — Иван Андреевич Апетер;

• помощники начальника — Роман Александрович Пилляр (барон фон Пильхау, двоюродный племянник Дзержинского) и Меер Абрамович Трилиссер.

Закордонная часть ИНО:

• начальник — Меер Абрамович Трилиссер;

• заместитель начальника — Георгий Евгеньевич Прокофьев.

Осведомительная часть ИНО:

• начальник — Лев Борисович Залин (Левин);

• заместитель начальника — Василий Федорович Высоцкий.

Бюро виз:

• начальник — Николай Федорович Угаров

В закордонной части ИНО было шесть отделений, которые руководили резидентурами:

• северное отделение — резидентура в Стокгольме и ее филиалы в Копенгагене, Гельсингфорсе (Хельсинки), Ревеле, Риге и Любаве;