Жить с больным пьющим мужем и шестью детьми на подачки свекра было невыносимо трудно, ни о каком Петербурге речи не шло, но и пребывание в Москве становилось не по карману. Только необходимость учить сыновей и вывозить в свет повзрослевших дочерей заставляла Наталью Ивановну держать дом на Никитской. Дом был большим, но очень старым, жизнь в нем весьма скромной. Будучи наследниками огромных поместий, Гончаровы едва сводили концы с концами. Хотя было понятно, что ко времени их вступления в наследство от имений останутся одни долги.

Так и вышло, проценты по закладным старший сын Натальи Ивановны Дмитрий Николаевич выплачивал до тех самых пор, пока император в качестве подарка ко второму замужеству Натальи Николаевны с Ланским не распорядился очистить имение Гончаровых от долга. Но тогда до этого было еще очень и очень далеко…

С горя Наталья Ивановна тоже временами попивала, но в руках себя держала. И не только себя, прежде всего детей. Дмитрий, Екатерина, Иван, Александра, Наталья и Сергей очень боялись строгой матери. Особенно девочки. Младшей Наташе, которую дома все называли Ташей, повезло немного больше сестер. Она так полюбилась деду, что Афанасий Николаевич оставил внучку у себя в имении до шести лет, страшно ее балуя.

Все в Полотняном Заводе крутилось вокруг маленькой Таши – ей заказывались платьица и шляпки из Парижа, оттуда же привозили безумно дорогих и красивых кукол, мячики, книги и прочую прелесть. Три года до своих шести Таша купалась в обожании и роскоши, а потом наступило отрезвление, потому что мать решила, что баловать девочку ни к чему, и забрала ее в Москву. Но Гончаров не желал ничего давать нелюбимой снохе, и Таша стала жить как все.

Она была застенчива до болезненности, чем страшно злила мать, бойкая Наталья Ивановна терпеть не могла тихонь, хотя требовала, чтобы дочери подчинялись ей в самых мелочах. Но именно это же Ташино подчинение вызывало материнское раздражение. У Загряжских вообще были весьма тяжелые характеры, а у Натальи Ивановны особенно. На тяжелый нрав наложились жизненные обстоятельства, и маменька Гончаровых превратилась в очень неуживчивого человека.