До своего внезапного и глубокого падения П. Толстой как начальник карательного органа крепостнического государства сам визировал бумаги, по которым людей калечили, ссылали в Соловки и в другие отдаленные места. Нам известно, что в декабре 1722 года по указу царя из Тайной канцелярии за подписью П. Толстого был направлен в Соловецкий монастырь князь Ефим Мещерский «за показанные от него противности благочестию»
Не прошло после этого полных пяти лет, как фортуна изменила Толстому, и вчерашний царедворец вместе с сыном Иваном разделил судьбу Мещерского, превратился в беспомощного и жалкого, убитого горем узника.
6 мая 1727 года архангельскому губернатору Измайлову был направлен «высочайший указ» такого содержания: «Велено Петра Толстого за многие его вины, лиша всех чинов и чести, послать в ссылку в Соловецкий монастырь, и с ним сына его Ивана. И вам, генерал-майору и губернатору, оного Толстого и сына его у посланного гвардии капитан-лейтенанта Лаврова, приняв, послать на судах в Соловецкий монастырь и для караула отправить тамошнего гарнизона обер-офицера, придав ему одного капрала и рядовых двенадцать человек, и велеть им в том монастыре отвесть келью, и содержать его, Толстого, с сыном под крепким караулом, писем писать не давать и никого к ним не допускать, и тайно говорить не велеть, токмо до церкви пускать за караулом же, и довольствовать братскою пищею, и тем посланным за ними офицеру, капралу и рядовым быть бессменно»
12 июня 1727 года Толстых доставили в Архангельск. На следующий день графов отправили на острова, а 18 июня водворили в келью «в добром состоянии».