В начале 1740 года закаленный в боях и возмужавший Я. П. Шаховской вернулся в Петербург, где неожиданно для себя был назначен советником в Главную полицию. Спустя некоторое время занял пост генерал-полицмейстера и получил чин действительного статского советника. Служба в полиции оказалась беспокойной и трудной. По выражению Шаховского, «редкий день без атак и штурмов приходился». Во время недолгого правления Анны Леопольдовны Я. П. Шаховской стал Сенатором, но в 1741 году, при восшествии на престол Елизаветы Петровны, был лишен этого звания. Вскоре Яков Петрович был назначен обер-прокурором Святейшего Синода.

В своих «Записках» Я. П. Шаховской отмечал: «Я еще с начала вступления в свет поставил в сердце моем предметом, чтоб во всех случаях, делах и поведении моих чистосердечно поступать, злоковарных же лестей и обманов употреблять гнушаться, а справедливость всему предпочитать». Постоянным стремлением к справедливости он нажил себе немало врагов среди членов Синода. Некоторые из них, по его словам, чуть ли не на коленях упрашивали Елизавету Петровну, чтобы она удалила слишком требовательного прокурора. В этой должности он прослужил более одиннадцати лет, имел чин тайного советника, получил орден Св. Александра Невского, Св. Анны и другие. 29 мая 1753 года Шаховской был назначен генерал-кригскомиссаром, то есть главным начальником по снабжению армии и флота. На этом поприще он весьма строго следил за соблюдением государственных интересов и, по собственному выражению, ему приходилось «многие патриотические дела производить». Нередко в неимоверно тяжелых условиях, по бездорожью и в распутицу он доставлял припасы в армию «без повреждения» и в «целосохранности».