В этом качестве он руководил следствием по делу Фанни Каплан, стрелявшей в Ленина, и операцией по т. н. «заговору послов», включая аресты и следствия. Яков Петерс настаивал на полной неподконтрольности ВЧК, которая производит «обыски, аресты, расстрелы, давая после отчет СНК и ВЦИК». Но на посту зампреда ВЧК его сменил И.К.Ксенофонтов. Петерс стал работать в Московском ревтрибунале и возглавил штаб по борьбе с контрреволюцией в Москве.

В мае 1919 Петерс был направлен в Петроград чрезвычайным комиссаром города и прифронтовой полосы «по очистке города от контрреволюционных банд» (с мандатом от Совета обороны РСФСР) и по предложению Комитета обороны Петрограда назначен начальником штаба внутренней обороны (затем начальником внутренней обороны) города… Фактически он стал диктатором Петрограда, развернув в нем кампанию массового кровавого террора. Петерс лично возглавил повальные аресты и расстрелы внутри города, были составлены списки (по телефонным книгам) подлежащих аресту бывших сановников, военных, капиталистов, дворян и т. д. Он отдавал приказы арестовать жен и взрослых членов семей офицеров, которые перешли на сторону белых.

В августе 1919 г. Петерс был назначен комендантом Киевского укрепрайона и начальником гарнизона, до оставления города Красной Армией. В октябре того же года Петерс был уже в Туле, став член военного совета укрепрайона.

За границей Якова Петерса называли самым безжалостным большевиком, убившим тысячи людей. По этому поводу в 1919 году корреспондент лондонской газеты «Дейли экспресс» попросил миссис Петерс дать ему интервью, поведав, что ее муж, председатель Революционного трибунала, «проводит все свое время, подписывая приказы о казнях в ходе московского террора». Мэй отвечала твердо и с достоинством, показала письма из России. Статья об этой встрече была озаглавлена так: «Жена главаря террора. Московский начальник убийц в качестве идеального мужа».