22 августа 1938 года первым заместителем наркома ВД СССР был назначен первый секретарь ЦК КП(б) Грузии Л.П.Берия, а 8 сентября 1938 года комкор М.П.Фриновский был освобожден от должности первого заместителя наркома ВД СССР и назначен наркомом Военно-Морского флота СССР. 14 сентября 1938 г. ему было присвоено воинское звание "Командарм 1 ранга".

На основании постановления СНК СССР от 5 сентября 1938 г. Главное управление мер и весов НКВД СССР и на основании постановления СНК СССР № 994 от 14 сентября 1938 г. Главное управление геодезии и картографии НКВД СССР были из системы НКВД изъяты.

29 сентября 1938 г. Л.П.Берия был назначен начальником ГУГБ НКВД СССР (11 сентября 1938 г. ему было присвоено звание комиссара гб 1 ранга), а заместителем начальника ГУГБ НКВД СССР был назначен бывший зав. отделом ЦК КП(б) Грузии В.Н.Меркулов (с 11 сентября 1938 г. — комиссар гб 3 ранга).

29 сентября 1938 г. была объявлена новая структура НКВД СССР:

ГУГБ, Главное экономическое управление (ГЭУ), Главное транспортное управление (ГТУ), Главное управление пограничных и внутренних войск (ГУПВВ), ГУРКМ, ГУЛАГ, ГУШОСДОР, ГУПО, Главное тюремное управление, Главное архивное управление (ГАУ), Управление коменданта Московского Кремля (УКМК), Административно-хозяйственное управление (АХУ), Дальстрой (ГУСДС), 1 спецотдел (учетно-регистрационный), 2 спецотдел (опертехники), 3 спецотдел (обыски, аресты, наружное наблюдение), Центральный отдел актов гражданского состояния (ЦОАГС), Центральный финансово-плановый отдел (ЦФПО), Отдел кадров (ОК), Переселенческий отдел, Особоуполномоченный НКВД СССР, Особое конструкторское бюро (ОКБ), Бюро по приему и рассмотрению жалоб, Инспекция по котлонадзору, Секретариат НКВД СССР.

В ГУГБ НКВД СССР вошли следующие отделы:

1 отдел (охраны правительства), 2 отдел (СПО), 3 отдел (КРО), 4 отдел (ОО), 5 отдел (ИНО), 6 отдел (военизированных организаций), 7 отдел (спецотдел).