Яков Петрович часто сопровождал молодую императрицу в ее поездках по России, причем нередко сидя с ней в одном экипаже. В пути он много говорил ей о деяниях Петра Великого и проведенных им преобразованиях. В одной из таких поездок он как-то вспомнил, что по замыслу Петра I один из Сенаторов должен каждый год объезжать губернии и ревизовать производящиеся там дела, вскрывать злоупотребления и лихоимство. Эта идея понравилась Екатерине II. Тогда Шаховской тут же вызвался лично провести такую проверку в городах, которые они проезжали. И он осуществил свое намерение в Ярославле, Ростове и Переславле-Залесском, чем привел в трепет местные власти.

1 апреля 1766 года действительный тайный советник и Сенатор Я. П. Шаховской по состоянию здоровья вышел в отставку. Он поселился в Москве, а летнее время проводил в своей подмосковной деревне. Вставал по обыкновению в шесть часов утра и выходил в сад, за которым сам ухаживал. Изредка встречался со своими друзьями. Привыкший к напряженной работе, Яков Петрович и на отдыхе не мог сидеть без дела. Вскоре он принялся за написание воспоминаний о своей бурной, насыщенной яркими событиями жизни, которые озаглавил так: «Записки князя Я. П. Шаховского, полицмейстера при Бироне, обер-прокурора Св. Синода, генерал-прокурора и конференц-министра в царствование Елизаветы и Сенатора при Екатерине II». Они впервые были опубликованы в Москве в 1810 году.

Яков Петрович был женат дважды. Первой его женой была княжна Александра Алексеевна Путятина, второй — Евдокия Егоровна Лопухина (урожденная Фаминцына). От этих браков он имел четверых детей.

Князь Я. П. Шаховской умер 23 июля 1777 года и погребен в малой соборной церкви Донского монастыря.