Впоследствии Булгарин писал о нем: «Все, что делали другие, он делал вдесятеро сильнее. Тогда в моде было молодечество, а гр. Толстой довел его до отчаянности. Он поднимался на воздушном шаре вместе с Гарнером и волонтером пустился в путешествие вокруг света вместе с Крузенштерном».

Федор Петрович Толстой вспоминал, как сам был выпущен из Морского корпуса мичманом и должен был идти в плаванье с капитан-лейтенантом Иваном Крузенштерном на «Надежде», но не пошел, уступив место Федору Ивановичу Толстому. Тогда Федор Петрович как-то вдруг нашел себя в искусстве. Занимаясь математикой с профессором Фусом, однажды он в ожидании учителя взял лежавший на столе восковой огарок, подкрасил его, как сумел, в телесный цвет и при помощи перочинного ножа и иголки сделал такую великолепную копию с камеи Наполеона, что профессор посоветовал посещать ему классы Академии художеств. Там в считанные недели Федор Петрович сделал такие успехи, что за него хлопотали перед адмиралом Чичаговым, и тот взял его к себе адъютантом, чтобы дать возможность остаться в Петербурге и продолжить образование.

Два Федора Толстых встретились глазами. Федор Иванович озорно подмигнул и осклабился. Обряд уже подходил к концу...

Федор Петрович Толстой так и остался мичманом. Он и в тридцать три года был ясноглаз и строен. У него были красивые, даже классические лоб, глаза, нос, и только нижняя челюсть, как у всех Толстых, была несколько крупновата. Решив заняться искусством основательно, он в 1804 году вышел в отставку, чем вызвал всеобщее негодование. Знатная родня соблазняла его званием камер-юнкера, любой протекцией, и на это он тогда же ответил, что «ни по душе, ни по рассудку не рожден для этой должности», что «всякий честный человек должен добиваться чинов и наград своим собственным трудом, а не случайной протекцией...».