Прокурорам союзных республик, краев и областей предлагалось перестроить свою работу применительно к структуре Прокуратуры Союза. В небольших областях вместо секторов надлежало иметь ответственных исполнителей (прокуроров) «по отдельным частям работы», а в районных прокуратурах перестройка должна быть направлена лишь на изменение методов руководства.
В Прокуратуре Союза ССР сохранялись Главная военная прокуратура, Главная транспортная прокуратура (с выделением из нее Главной прокуратуры водного транспорта, прокуратура по спецделам, сектор надзора за местами лишения свободы и управление делами.
Вышинский как квалифицированный юрист, наверное, понимал всю нелепость искусственного разделения отделов по производственному принципу. Поэтому, когда он стал прокурором Союза, то вновь перестроил работу органов прокуратуры по функциональному принципу, который, с теми или иными изменениями, сохранился и в наше время.
Неоценимую роль в дальнейшей централизации органов прокуратуры сыграло первое Всесоюзное совещание судебных и прокурорских работников, в работе которого Вышинский принимал самое деятельное участие. Оно открылось 23 апреля 1934 года в здании Прокуратуры Союза ССР. Доклад «Решения ХVII партсъезда и задачи органов юстиции» сделал прокурор Союза ССР И. А. Акулов. В своем выступлении он остановился на всех наиболее актуальных вопросах практической деятельности прокуроров, судей и народных следователей, проанализировал задачи, стоящие перед органами юстиции на современном этапе, обратив особое внимание на целый ряд «недочетов и извращений» и предложив конкретные меры по их устранению. Как писали тогда газеты, «докладчик говорил просто, без малейшей погони за вычурной красивой фразой».
С содокладом выступил председатель Верховного суда СССР А. Н. Винокуров, а в прениях — главный военный прокурор Орловский, член Верховного суда СССР Антонов-Саратовский, и. о. прокурора РСФСР Нюрина-Нюренберг, ученый-юрист Пашуканис, нарсудья из Самары Игольчук, прокурор города Москвы Филиппов, председатель Верховного суда РСФСР Булат и другие.