Для ГЭУ была установлена следующая структура:

1 отдел (оборонной промышленности), 2 отдел (тяжелой промышленности и машиностроения), 3 отдел (легкая промышленность, лесная и местная промышленность), 4 отдел (сельское хозяйство и заготовки), 5 отдел (торговля, кооперация, финансы).

ГТУ имело следующую структуру:

1 отдел (ж.д. транспорт), 2 отдел (водный транспорт), 3 отдел (связь, гражданский воздушный флот, шоссейно-дорожное строительство).

Окончательно ГЭУ сформировалось лишь 4 сентября 1939 г., когда начальником этого главка был назначен Б.З.Кобулов.

Организационный период для ГТУ продлился до 31 марта 1939 г., когда начальником главка был назначен С.Р.Мильштейн.

4 октября 1938 г. заместителем наркома ВД СССР по хозяйству был назначен бывший нарком местной промышленности РСФСР Г.В.Филаретов. 16 ноября 1938 г. он стал также (по совместительству) и начальником ГУЛАГа НКВД СССР, но проработал в этой должности недолго: 17 февраля 1939 г. Г.В.Филаретов был освобожден от всех должностей в НКВД СССР и откомандирован в распоряжение ЦК ВКП(Б), а начальником ГУЛАГа НКВД СССР был назначен бывший начальник ГУРКМ НКВД СССР и заместитель наркома ВД СССР комдив В.В.Чернышев.

17 ноября 1938 г. В.М.Молотов и И.В.Сталин подписали совместное постановление СНК СССР и ЦК ВКП(б) "Об арестах, прокурорском надзоре и ведении следствия", в котором были отмечены крупные недостатки и извращения в работе органов НКВД.

23 ноября того же года Н.И.Ежов пишет письмо в Политбюро ЦК ВКП(б) на имя И.В.Сталина, в котором просит освободить его от работы наркомом внутренних дел СССР из-за целого ряда ошибок и промахов, допущенных им на этом посту.

24 ноября 1938 г. последовало решение Политбюро ЦК ВКП(б) об удовлетворении просьбы Ежова об освобождении его от обязанностей народного комиссара внутренних дел СССР ввиду изложенных в заявлении Ежова мотивов, и также принимая во внимание его болезненное состояние.