Яков Львович оказался столь удобным для исполнения различных предначертаний Петровых, что государь отметил его своим особенным вниманием и повел его от чести к почести, не забывая при этом поправлять и его родовую «захудалость». Петр, однако, не сделал нашего прадеда богачом, а именно только вывел его из «захудалости». Сам же князь Яков Львович не умел вознаграждать себя: он, как говорили в то время, "заразился глупостью Лефорта", то есть пренебрегал способами к самовознаграждению, а потому и не разбогател. Такова была его жизнь до самого воцарения Анны Ивановны, когда Яков Львович попался на глаза Бирону, не понравился ему и вслед за тем быстро очутился в ссылке за Оренбургом.

В ссылке князь Яков Львович, по отеческому завету, обратился к смирению: он даже никогда не жаловался на «Немца», а весь погрузился в чтение религиозных книг, с которыми не успел познакомиться в юности; вел жизнь созерцательную и строгую и прослыл мудрецом и праведником.

Князь Яков Львович в моих глазах прелестное лицо, открывающее собою ряд чистых и глубоко для меня симпатичных людей в нашем роде. Вся жизнь его светла, как кристалл, и поучительна, как сказание, а смерть его исполнена какой-то прелестной, умиряющей таинственности. Он умер без всяких мучений на светлый день Христова Воскресенья, после обедни, за которою сам читал Апостол. Возвратясь домой, он разговелся со всеми ссыльными и не ссыльными, которые пришли его поздравить, и потом сел читать положенное в этот день всепрощающее поучение Иоанна Богослова и, при окончании чтения, на последнем слове нагнулся к книге и уснул. Кончину его никак нельзя назвать смертью: это именно было успение, за которым пошел вечный сон праведника.

В тот же день к вечеру на имя ссыльного был доставлен пакет, возвещавший ему прощение и возвращение, дарованные волей воцарившейся императрицы Елисаветы: но все это уже опоздало. Князь Яков был разрешен небесною властью ото всех уз, которыми вязала его власть земная.