Там служба пошла было хорошо, но влюбившись в одну польку, отец в 1811 году, чтобы не разлучаться с нею, перешел в Каменец-Подольский гарнизон, в котором и находился в войну 1812 года. Роман с полькой кончился, однако, тем, что она вышла за какого-то пана; тогда в 1813 г. отец поступил в действующую армию в Великолуцкий пехотный полк штабс-капитаном; сделал поход за границу в 1813 и 1814 годах, а по окончании войны в 1816 году, за болезнью, переведен в Нижегородский гарнизонный батальон и в 1817 году назначен начальником жандармской команды, при том батальоне находившейся.

В Нижегородскую губернию на службу звал его старший брат Василий Иванович, поселившийся в пожалованном ему ардатовском имении. Здесь он женился на дочери соседа Любови Васильевне Жуковой,

В январе 1818 года отец мой женился на дочери нижегородского исправника, надворного советника Павла Петровича Сергеева, Анне Павловне. Дедушка Павел Петрович был человек в своем роде замечательный. Он пользовался уважением и был избираем дворянством в исправники в продолжение тридцати шести лет и ничего не нажил, когда по тогдашним нравам исправники в два или три трехлетия наживали по две, по три сотни душ. Учился он, как говорят, на медные деньги, но образовал себя чтением. Иностранных языков не знал, но в конце прошлого столетия и отчасти в начале нынешнего выходило множество переводов дельных книг, особенно французских. Дедушка на книги денег не жалел, и у него была большая библиотека; по смерти его, половина ее досталась моей матери, и я с раннего детства с ней ознакомился; тут были переводы греческих и римских классиков, исторические сочинения, переведенные с французского путешествия, все новиковские и академические издания, сочинения всех русских писателей от Кантемира и Ломоносова до Карамзина и Жуковского. Когда он ослеп, он заставлял дочерей читать ему вслух и все дожидался, когда мы, его внуки, выучимся грамоте и будем читать слепому дедушке.