Отсутствие сына охладило любовь Федор Ивановича к жене. Прежде он в Леночке души не чаял, и когда узнал о грядущем рождении первого ребенка, то только и говорил всем о том, как назовет своего первенца, как будет растить и воспитывать — князь не сомневался, что родится мальчик. Когда же родилась дочь, Лизонька, он был столь оглушен событием, что заперся на неделю в своем кабинете, не пожелал видеть новорожденную, не пошел к жене, еще накануне столь обожаемой и отменил заранее объявленное угощение для дворовых. На крестинах тоже присутствовал лишь по долгу и никакого пира не устроил.

Однако скорая вторая беременность жены снова вселила в Федора Ивановича надежды. Только и им не суждено оказалось сбыться. Снова родилась девочка, названная Аннушкой. К тему же доктора сообщили Прозоровскому, что поскольку Елена Михайловна женщина очень болезненная и хрупкая, роды она перенесла с трудом и на рождение следующих детей уже надеяться не стоит. Такое сообщение окончательно сразило князя. Он долго не мог примириться с мыслью, что должен навсегда расстаться с мечтою о сыне. Отношения с женой окончательно испортились. Дом разделился на две половины, и князь из своих комнат редко хаживал на сторону княгини. Часто вспоминал он тогда, наедине с собой, глядя в окно на бескрайние серые верхушки деревьев, кутующиеся в сыром тумане, предупреждения своих родственников: не принесет тебе счастья Андожа, нет счастья на краю земли. Только никому не признавался князь в своем разочаровании. После же военные походы и баталии, жизнь на биваках и в учебных лагерях, и вовсе оторвали Федора Ивановича от усадьбы и от семьи.