Со своими строгими правилами он не хотел долго оставаться на службе и вышел в отставку в чине коллежского советника. Императрица очень сожалела о его выходе; а как она ценила его, представляю следующий факт. Когда мать моя, оставшись вдовою с многочисленным семейством, просила о пенсии за 35-летнюю военную службу отца и долго не могла получить ее, Императрица, стороной узнавши об этом ходатайстве, от себя, без всякого прошения, положила ей 1000 рублей ассигнациями пенсии, и последняя сестра моя, девица, получала ее до самой смерти. Я не говорю уже о том, что она крестила одну из сестер моих и меня.

По выходе моего отца из службы граф Алексей Кириллович Разумовский, хорошо его знавший, предложил ему управление своими обширными имениями в Пензенской и Тамбовской губерниях. Тут выказались и экономические способности отца моего, так что в течение пятилетнего управления он значительно увеличил доходы в имении, несмотря на то, что, по своим христианским правилам, обращал особенное внимание на хозяйство крепостных крестьян и их благосостояние. Он, как рассказывали крестьяне, скорее прощал, если встречал небрежность на барщинской работе, нежели на собственно крестьянской. Он был очень строг, но в то же время справедлив, добр, сострадателен, так что память о нем долго сохранялась в народе. Обычных праздничных приношений управителям он не терпел и совершенно вывел этот обычай крепостного быта. Из Петербурга он с семейством переехал в Пензенскую губернию, в село Ершово Чембарского уезда, близ границы Кирсановского, где находилось вотчинное управление.

Мы поселились в большом управительском доме, который стоял в центре села Ершово. Расположение дома было обыкновенное; из прихожей со двора входили в большой довольно зал, из зала налево был кабинет отца, а влево из кабинета была спальня, у дверей которой по ночам всегда спал Валерка, белая легавая собака отца, жившая замечательно долго, до 26 лет. Направо залы была гостиная, а налево семейные комнаты и детские.