В связи с окончанием гражданской войны и укреплением Советской власти, на основании постановления 9-го Всероссийского съезда Советов от 28.12.1921 г. и постановления ВЦИК от 06.02.1922 г. ВЧК была реорганизована в Государственное политическое управление (ГПУ) при НКВД РСФСР.

Структура ГПУ в основном не отличалась от структуры упраздненной ВЧК. Главными задачами ГПУ при НКВД РСФСР были:

— борьба с контрреволюцией и бандитизмом;

— борьба со шпионажем;

— охрана железнодорожных и водный путей сообщения;

— охрана границы РСФСР;

— борьба с контрабандой.

В апреле 1922 года был организован Восточный отдел ГПУ, в мае 1922 года был организован Контрразведывательный отдел (КРО) ГПУ, в августе того же года — Юридический отдел ГПУ.

В связи с образованием 30.12.1922 г. Союза ССР на базе ГПУ было организовано Объединенное государственное управление (ОГПУ) при СНК СССР с теми же функциями, что и ГПУ. В сентябре 1923 года была утверждена коллегия ОГПУ. 15 ноября 1923 г. было утверждено Положение об Объединенном государственном политическом управлении СССР и его органах. Создание ОГПУ объяснялось целями "объединения революционных усилий республик по борьбе с политической и экономической контрреволюцией, шпионажем и бандитизмом".

ОГПУ ведало:

— деятельностью республиканских и местных ГПУ, транспортных органов Государственных политических управлений на железных дорогах и водных путях сообщения;

— особыми отделами фронтов и армий;

— охраной границы Союза ССР;

— осуществляло "непосредственную оперативную работу в общесоюзном масштабе".

ОГПУ располагало собственными воинскими формированиями, аппаратом уполномоченных при Советах Народных Комиссаров союзных республик, представителем в Верховном Суде Союза ССР.