В молодости Израиль Леплевский был членом «Бунда», но в феврале 1917 года примкнул к большевикам. Отсутствие какого-либо образования (он был самоучкой, несколько лет просидел в хедере, на чем настояла мать, крайне религиозная женщина) компенсировалось у него природной предприимчивостью, опытом практической работы в ЧК с 1918 года и наличием покровительствующей «руки» в Москве в лице старшего брата — Г.М. Леплевского, занимавшего видные посты в Наркомате внутренних дел и Малом Совнаркоме РСФСР

Когда в октябре 1925 года им пришлось расстаться (Леплевский был назначен начальником Одесского окружного отдела ГПУ), бывший начальник Люшкова рекомендовал его на ответственную работу в центральный аппарат ГПУ Украины, дав тем самым первоначальный толчок его карьере. Перебравшись в Харьков, Люшков как хороший «агентурист» возглавил работу Информационно-осведомительного отдела (ИНФО) ГПУ Украины. Получив в свои руки всю агентурно-осведомительную сеть республиканского ГПУ, Люшков перешел к делам «крупного масштаба» и уже в 1926 году «…нащупал террористическую группу, подготовлявшую покушение на председателя ВУЦИКа тов. Петровского»

Забегая вперед, отметим, что опыт в делах такого рода очень пригодился Люшкову во время его ленинградской командировки в связи со следствием по делу об убийстве С.М. Кирова и способствовал его сближению с одним из «кураторов» этого следствия — Н.И. Ежовым.

В мае 1930 года, уже занимая прочное место в аппарате республиканского ГПУ, Люшков назначается начальником Секретного (с 1931 года — Секретно-политического) отдела ГПУ УССР. Тогда отдел «контролировал» не только остатки «антисоветских политических партий» (эсеров, меньшевиков, анархистов и т. д.), но и активно боролся с «внутрипартийной» оппозицией в ВКП(б).