И все, все, кто восхищался его дилетантскими работами, все отвернулись от него.

«Аристократ, имеющий титул, блестящие связи, которому все само в руки дается, и вдруг все отвергает и идет в маляры!.. Этим он бесчестит не только свою фамилию, но все дворянское сословие!» - таково было общее мнение. Перед ним закрывались двери знакомых домов, он прослыл опасным сумасбродом. Отец, Петр Андреевич, негодовал - кто-то написал ему, что его сын сошел с ума, ибо, «будучи взрослым, продолжает учиться как маленький».

В 1805 году, захваченный патриотическим порывом, Федор Петрович подал прошение о зачислении его в действующую армию, но его художественные работы попались на глаза императору Александру I, и тот сказал:

- Я обещал назначить вас в кавалергардский полк, но так как у меня много офицеров и я могу нажаловать их сколько хочу, а художников, таких, как вы, я не могу создать, то мне бы хотелось, чтобы вы, при вашем таланте к художествам, пошли по этой дороге.

Это звучало приказанием и соответствовало осознанному только потом желанию Федора Толстого, но нисколько не улучшило его положения. Его давила нужда, он расстался со всеми, нанял домик у Смоленского кладбища, где поселился со своими единственными дворовыми - мальчиком Иваном и девочкой Аксиньей, смотрел в окошко на похоронные процессии, у которых в ногах путались гуси и утки, и работал, работал... Учился, посещал классы Академии художеств, копировал античные статуи, изучал греческие вазы и барельефы, костюмы и утварь, а для заработка изготовлял модные гребешки и брошки. Отец, Петр Андреевич, совсем разорился, Федор взял к себе жить сестру Надежду Петровну и старую няню Матрену Ефремовну. Та все приговаривала:

- Ничего, батюшка, работай, учись, не заботься ни о чем: у старой няньки найдется из чего щей и кашки тебе сварить, недаром в барском доме жила. Работай себе с богом.

Она вытаскивала свои сбережения, а когда они кончились, вязала чулки и тайком продавала их.