23 июня он издал приказ № 1 по Прокуратуре Союза ССР следующего содержания: «Согласно постановления Центрального Исполнительного Комитета и Совета Народных Комиссаров от 20 июня 1933 года об учреждении Прокуратуры Союза ССР и на основании постановления ЦИК Союза ССР от 21 июня с. г. о назначении тов. Акулова Ивана Алексеевича прокурором Союза ССР и моего назначения заместителем Прокурора Союза ССР, я, ввиду нахождения тов. Акулова И. А. в очередном отпуске впредь до его возвращения вступил во вр[еменное] испол[нение] обязанностей прокурора СССР».

Так началась служба Вышинского в Прокуратуре Союза ССР, продолжавшаяся шесть лет. И. А. Акулов не был юристом и вообще не имел никакого высшего образования, опыт работы в органах правопорядка у него был незначительный — в 1931 году он являлся первым заместителем председателя ОГПУ. При таких обстоятельствах основная тяжесть по реорганизации прокурорского надзора легла на плечи Вышинского. В это время он работал исключительно много и неустанно: занимался комплектованием аппарата Союзной прокуратуры, готовил тексты многих приказов и указаний (некоторые из них подписывал сам), а также проекты постановлений ЦИК и СНК СССР, связанные с прокурорским надзором.

Прокуратура разместилась в старинном особняке, построенном еще в 1824 году и расположенном в глубине большого двора (некогда сада) по улице Большая Дмитровка, 15а (с 1937 года до начала 90-х годов улица носила название Пушкинская). В то далекое время, когда появился этот особняк, весь участок принадлежал 39 военному генерал-губернатору Москвы светлейшему князю Д. В. Голицыну. Его наследники продали весь участок московским купцам братьям Востряковым, которые надстроили третий этаж к основному зданию и соорудили еще несколько невысоких корпусов, предназначенных для сдачи внаем горожанам.

В 1905 году часть дома была арендована литературно-художественным кружком, основанным столичными писателями и театральными деятелями в 1899 году.