15 августа 1760 года Яков Петрович становится генерал-прокурором Сената и одновременно конференц-министром. Узнав о назначении на новую должность, он воскликнул: «В оном чину наиглавнейших злодеев иметь буду». И он не ошибся. За непродолжительную (менее полутора лет) службу на этом посту честный, бескорыстный и неподкупный прокурор, пользовавшийся репутацией «строгого законника» и пристально следивший за тем, чтобы в государственных учреждениях все «чинилось порядочно и по указам», имел немало острых стычек с приближенными к императрице сановниками.

Программой действий для генерал-прокурора стал указ Елизаветы Петровны от 16 августа 1760 года, в котором она поручала Сенату содействовать ей в восстановлении в государстве «надлежащего порядка, правосудия, благосостояния и обильного добра». Более близкое знакомство генерал-прокурора Я. П. Шаховского с судебными местами убедило его в том, что они погрязли в злоупотреблениях. Он писал: «Несытая алчба корысти дошла до того, что некоторые места, учрежденные для правосудия, сделались торжищем лихоимства, пристрастие — предводительством судей, а потворство и упущение — ободрением беззакония».

Шаховской всегда стремился отстаивать законность и справедливость, хотя и давалось ему это с большим трудом. Он признавался, что чувствовал себя путешественником, который с «надлежащей большой дороги загнан в болото, наполненное тиною и трясиною, из коего не дорогами, но наудачу, то по колено, то глубже увязая, потеряв силы и отчаясь на твердый берег выйти, близко погибель свою ощущает».

Несмотря на невероятные козни, чинимые приближенными к императрице вельможами, вопреки их злобным проискам, он во всех делах оставался честным и неподкупным. Именно по этой причине императрица Елизавета Петровна ценила его, была милостиво расположена к своему генерал-прокурору, лично принимала доклады и часто вставала на его сторону.

25 декабря 1761 года новый император Петр III отправил Я. П. Шаховского в отставку и некоторое время он «оставался не у дел». Короткое царствование Петра III закончилось дворцовым переворотом, и на Российском престоле оказалась Екатерина II. Она вновь призвала Шаховского на службу, назначив его Сенатором. В день своей коронации императрица пожаловала ему орден Св. Андрея Первозванного.