Несмотря на столь высокое покровительство, кампания 1813 года оказывается для него не слишком удачной: вскоре после блокады Эрфурта, возвращаясь из Санкт-Петербурга, куда был отправлен с поручением, он попадает в плен к французам. Был освобожден в 1815 году после вступления войск союзников в Париж и вернулся на родину, где получил чин майора, а позже – подполковника. Но это не могло обеспечить ему сколь-нибудь прочного будущего: расточительные выходки старого князя Ильи Толстого на посту губернатора Казани приняли такой размах, что для сына и речи не могло быть о продолжении военной карьеры. Семья была разорена, поместье в Белеве заложено. Николай, предвидя скорое банкротство, подал в отставку и стал жить с родителями в Казани. Две сестры его, Александра (Aline, как ее звали близкие) и Пелагея, вышли замуж, первая – за графа Остен-Сакена, вторая – за Юшкова, и покинули отчий дом, который, впрочем, после их отъезда не лишился своего очарования благодаря дальней родственнице Николая Татьяне Александровне Ергольской, Toinette. Бедная сирота с детства воспитывалась в семье Толстых и росла вместе с их детьми. Одного возраста с Николаем, она относилась к нему с молчаливой нежностью. Тяжелые темные косы обрамляли ее прекрасное, но несколько суровое лицо с черными сверкающими глазами. Грация и сила чувствовались в манере поведения. Встретив вернувшегося в Казань кузена, девушка вообразила поначалу, что он будет просить ее руки. Но Николай, которого не могла не волновать эта давняя, трогательная любовь, думал лишь о том, как развлечься. В каждом салоне был душой общества, за танцами и играми забывая о том, что семейные дела идут из рук вон плохо. Эту легкость он унаследовал от отца: полный беспорядок и лихоимство царили в городской казне, а старый граф Толстой лишь улыбался, убеждая себя, что все образуется. Сенат назначил специальную комиссию по расследованию, которая занялась его счетами. Сраженный этим, граф заболел и умер, не успев ничего сказать в свою защиту. Поговаривали даже, что он покончил с собой.