Вопрос об изменении структуры центрального аппарата НКВД СССР был поднят Н.И.Ежовым на состоявшемся 24–25 января 1938 г. совещании руководящих работников НКВД. Оценивая ход "массовых операций" по арестам и расстрелам, он отметил, что назрел вопрос о выделении из состава КРО работы по промышленности в самостоятельный отдел и о создании отдела оборонной промышленности. Это объяснялось тем, что основную нагрузку по проведению "массовых операций" несли на себе 3-й отделы в Центре и на местах. Ежов сказал, что вопрос о реорганизации ГУГБ будет решен в ЦК.

17 февраля 1938 г. по приказу Ежова был отравлен Заковским и Алехиным в кабинете Фриновского начальник 7 отдела ГУГБ НКВД СССР комиссар государственной безопасности 2 ранга А.А.Слуцкий.

Сотрудникам НКВД СССР было объявлено, что он умер от сердечного приступа. Похоронен был с почестями и некрологом в "Правде". Приказом НКВД СССР № 678 от 23 марта 1938 г. А.А.Слуцкий был исключен из списков личного состава НКВД СССР за смертью.

Решение Политбюро ЦК ВКП(б) о новом организационном устройстве НКВД и ликвидации ГУГБ состоялось 28 марта 1938 г. В период с апреля до начала июня 1938 г. проходило создание 1, 2 и 3 управлений НКВД СССР, хотя наряду с этими новыми структурами действовали и элементы старой структуры ГУГБ.

9 июня 1938 г. приказом НКВД СССР № 00362 была объявлена новая структура оперативно-чекистских управлений НКВД СССР:

Управление государственной безопасности (1 управление) — (начальник — первый заместитель наркома ВД СССР, комкор М.П.Фриновский);

Управление особых отделов (УОО или 2 управление) — (комбриг Н.Н.Федоров);

Управление транспорта и связи (3 управление) — (комиссар гб 3 ранга Б.Д.Берман);

Структура 1 управления была следующей:

1 отдел (охрана правительства) — (комиссар гб 3 ранга И.Я.Дагин);

2 отдел (оперативный отдел) — (старший майор гб И.П.Попашенко);

3 отдел (КРО) — (комиссар гб 3 ранга Н.Г.Николаев-Журид);