Летом 1929 года было принято решение о похищении и вывозе в Москву председателя РОВС генерала А. П. Кутепова, активизировавшего диверсионно-террористическую деятельность на территории СССР.

1 января 1930 года Серебрянский был переведен в резерв ОГПУ и вскоре вместе с заместителем начальника КРО ОГПУ С. В. Пузицкимвыехал в Париж для руководства этой операцией.

В воскресенье 26 января 1930 года сотрудники опергруппы Серебрянского втолкнули Кутепова в стоявший рядом автомобиль, сделали инъекцию морфия и доставили на борт советского парохода, стоявшего в порту Марселя.

30 марта 1930 года за удачно проведенную операцию Серебрянский был награжден орденом Красного Знамени.

По завершении этой операции Серебрянский приступил к созданию автономной агентурной сети в различных странах для организации диверсий на случай войны.

20 июля 1930 года он был зачислен на особый учет ОГПУ. Работая за границей, лично завербовал 200 человек.

В 1931 году был арестован в Румынии, но вскоре освобожден и продолжил свою деятельность.

В 1932 году выезжал в США, а в 1934 году – в Париж.

В 1935 году по поручению Генриха Ягоды содействовал организации токсикологической лаборатории НКВД.

13 июля 1934 года утвержден руководителем Спецгруппы особого назначения (СГОН) при НКВД СССР.

В 1935–1936 годах находился в спецкомандировке в Китае и Японии.

После начала Гражданской войны в Испании советское правительство приняло решение о поставках в Мадрид оружия. Причем часть его нелегально закупалась в Европе. Занимались этим практически все резидентуры ИНО НКВД и ГРУ, в том числе и «группа Яши». Так, в сентябре 1936 года сотрудники Спецгруппы закупили у французской фирмы «Девуатин» 12 новых военных самолетов, которые доставили на приграничный с Испанией аэродром. Откуда их под предлогом летных испытаний благополучно перегнали в Барселону. За эту операцию в декабре 1936 года Серебрянский был награжден орденом Ленина.