Алексей Иванович не хотел видеть племянника изнеженным барчуком и лучшим средством от этого считал армейскую службу, да не офицерство, а солдатскую лямку. Так в лейб-гвардии Семеновском полку появился четырнадцатилетний солдат. В 1723 году поручик Яков Шаховской переходит в Конную гвардию, а в середине 1730-х годов служит под началом своего дяди, управлявшего тогда Малороссией и лично державшего в курсе тамошних дел Анну Иоанновну и Бирона.

В 1738–1739 годах Якову Петровичу пришлось отправиться на Русско-турецкую войну, где молодой офицер лейб-гвардии Конного полка не только участвовал во многих сражениях, но и мужество проявлял незаурядное.

В начале 1740 года его было не узнать — закаленный, возмужавший. Он возвращается в Петербург и получает неожиданное для себя назначение — советником в Главную полицию. Скоро он становится генерал-полицмейстером и получает чин действительного статского советника. Но служба оказалась беспокойной и трудной, «редкий день без атак и штурмов приходился».

Правление Анны Леопольдовны было недолгим, но принесло Шаховскому должность сенатора, а вот следующий дворцовый переворот, воцарение Елизаветы Петровны, лишил его этого звания. Однако вскоре последовало новое назначение — теперь он обер-прокурор Святейшего синода.

«Записки» многое объясняют в его карьере. «Я еще с начала вступления в свет поставил в сердце моем предметом, чтобы во всех случаях, делах и поведении моих чистосердечно поступать, злоковарных же лестей и обманов употреблять гнушаться, а справедливость всему предпочитать». Именно этим стремлением к справедливости он и наживает себе множество врагов среди членов Синода. Некоторые из них, по его словам, чуть ли не на коленях упрашивали Елизавету Петровну удалить слишком требовательного прокурора.