Юристы тогда не особенно ценились, поэтому, чтобы выжить, им приходилось заниматься какими-либо иными делами. Вышинский сумел попасть на службу инспектором в Московское продовольственное управление и постепенно, благодаря дружеским связям с выходцем из Баку большевиком А. Б. Халатовым, ставшим в Москве чрезвычайным комиссаром по продовольствию и транспорту, а также поддержке Сталина, за несколько лет сделать неплохую карьеру. В 1919 году он был, например, уже начальником управления в Наркомпроде республики. Осенью того же года его временно командировали в распоряжение политотдела Южного фронта для использования в качестве снабженца (он находился в непосредственном подчинении начальника Тульского укрепрайона). После возвращения из Тулы в 1920 году Вышинский вступил в Российскую коммунистическую партию большевиков, что открыло ему перспективы еще более высокого служебного роста.

В начале 20-х годов Вышинский проявляет исключительную активность. Не оставляя службы в Наркомпроде, он несколько месяцев пробыл в только что организованной коллегии защитников и одновременно вел научно-педагогическую деятельность в Институте народного хозяйства, где одно время был даже деканом экономического факультета. Непродолжительное время работал также в Наркомтруде и Главпрофобре. Переломным в его карьере становится 1923 год. Именно тогда он выступил в качестве общественного обвинителя на одном из крупных процессов «церковников». Прокурорская трибуна пришлась по душе бывшему помощнику присяжного поверенного. Вскоре Вышинский становится прокурором уголовно-судебной коллегии Верховного суда РСФСР, где и работает до 1925 года. Теперь он часто выступает в судах и может сколько угодно оттачивать свое ораторское мастерство.

Весной 1923 года в Верховном суде республики под председательством Сольца слушалось дело по обвинению в злоупотреблениях директора-распорядителя Государственной экспортно-импортной торговой конторы при Наркомвнешторге Когана, его заместителя Зельманова, заведующего торговым отделом Майзеля и других (всего перед судом предстали 12 человек).