После установления советской власти государство конфисковало все дорогостоящие инструменты, а сама Екатерина была направлена на работу в астраханскую степь, в тяжелейшие условия. Все это подорвало ее здоровье. Из всех детей только одна Вера пережила родителей и была им опорой и поддержкой в старости. Виктор, несмотря на нередкие ссоры, всегда с нежностью относился к своим родным. «Твой брат до конца земных ошибок, близок он или далек» — так подписал он однажды письмо к Александру. Лучше всех его понимала младшая сестра. «Я тронут, — писал Хлебников семье в 1912 году после выхода книги „Учитель и ученик“, — что Вера не присоединилась к семейной дрожи за потрясение основ». «Уверяю вас, — обращается он к остальным, — что там решительно нет ничего такого, что бы позволило трепетать подобно зайцам за честь семьи и имени. Наоборот, я уверен, будущее покажет, что вы можете гордиться этой скатертью-самобранкой с пиром для духовных уст всего человечества, раскинутой мной». К сожалению, отец придерживался другого мнения. Он хотел видеть Виктора ученым-естественником или математиком и не смог простить ему измены науке ради сомнительной литературной стези. Несмотря на это, долгие годы он продолжал поддерживать сына материально.

Сначала средний сын радовал отца. Естественно, круг общения с людьми у маленького Виктора Хлебникова был ограничен родителями, братьями и сестрами. Это сильно повлияло на формирование его характера. Он, как пишет младшая сестра Вера, был красивым, кротким, рассудительным, но очень упрямым ребенком. Когда Виктору не было еще шести лет, семья переехала в другой конец России: в село Подлужное Волынской губернии, куда отец был назначен управляющим. «Там было приволье: река Горынь, чудный парк, запущенные цветники, всевозможные развалины… Это заставляло работать детское воображение, и Витя упорно утверждал изумленным братьям, что у него свое королевство и каждый день за ним прилетает белый лебедь…»