После возвращения из Лондона в октябре 1920 года Яков Христофорович работает в центральном аппарате НКИД заведующим отделом Прибалтийских стран и Польши и одновременно является членом коллегии наркомата. По рекомендации И. Ф. Арманд на молодого дипломата обратил внимание Ф. Э. Дзержинский. По его ходатайству Оргбюро ЦК РКП(б) на заседании от 12 ноября 1920 года принимает решение «откомандировать Давтяна Я. Х. в распоряжение ВКЧ», где, как предполагалось, он должен был возглавить создаваемый Иностранный отдел (внешнюю разведку).

Дело это было новое и связанное с многочисленными трудностями. Не хватало грамотных кадров, владевших секретами чекистского мастерства и навыками ведения разведработы за рубежом и свобордно говоривших на иностранных языках. Скудным был и бюджет внешней разведки, а задачи перед ней стояли большие. Сам Я. Давтян, правда, имел некоторый опыт работы за рубежом, в основном по линии НКИД, однако разведка, которой он должен был руководить, была для него «терра инкогнита». К тому же, первому организатору ИНО ВЧК в ту пору было всего 32 года.

Поскольку Яков Христофорович числился сразу за двумя ведомствами, было решено, что в целях конспирации в ИНО ВЧК он будет работать под фамилией Давыдов. В очерке мы продолжим называть его настоящей фамилией.

В приказе Ф. Э. Дзержинского N 169 о создании Иностранного отдела ВЧК, в частности, указывается:

Я. Х. Давтян активно включился в процесс разработки Положения об Иностранном отделе ВЧК, определения его структуры и штатного состава. В то же время если в Наркоминделе, где Давтян одновременно продолжал работать, он был официально утвержденным начальником отдела и членом коллегии, то его статус в ИНО в качестве исполняющего обязанности начальника был менее определенным.