Екатерина Николаевна часто болела, ей было тяжело справляться с детьми, и, пока дети были маленькими, она по нескольку месяцев в году проводила в Петербурге у родственников, где можно было рассчитывать на помощь родителей, братьев и сестер. В Петербурге детей водят в Эрмитаж, в Казанский и Исаакиевский соборы, в Зоологический сад и Зоологический музей. Виктор уже тогда проявляет большую любознательность и интерес к учебе, увлекается рисованием.

Варвара (сестра Екатерины Николаевны) пишет из Петербурга Владимиру Алексеевичу: «На долю Шуры, Вити и Веры выпадает больше похвал, чем на долю старших. Витя всегда занят чем-нибудь. На него произвел впечатление в Мурине художник, срисовывавший с натуры, и он часто спрашивает, будет ли и он уметь рисовать, когда вырастет. Мне кажется, что у него есть способность к рисованию — от тебя унаследовал. Дети решили, что он будет художником, а Боря музыкантом». Забегая вперед, можно сказать, что Хлебников действительно стал вполне профессиональным художником, подобно многим своим друзьям-футуристам и поэтам предшествующей эпохи. Сохранились и очень точные зарисовки птиц, и портреты, и пейзажи, выполненные Хлебниковым. В другом письме Варвара Николаевна снова пишет: «Витя готов целые дни рисовать или слушать рассказы и чтение. Мне бывает часто жаль, что нет времени, чтоб уделить ему — так ему хочется учиться. Он вырос больше других и иногда бывает очень мил».

Вскоре Владимира Алексеевича переводят на новое место службы, и вся семья переезжает в село Помаево Симбирской губернии. Виктору уже одиннадцать лет, и его начинают всерьез готовить к поступлению в гимназию. Перед родителями встал существенный вопрос: где учить сына? Ясно было, что у него хорошие способности, что он сам стремится к учебе. Варвара Николаевна (к тому времени она вышла замуж за Николая Рябчевского) еще раньше предлагала привезти Виктора к ним в Черкассы. Можно было бы обучать его и в Петербурге, где оставалась жить еще одна сестра матери, Софья Николаевна, а также ее родители и брат, но этот вариант по каким-то причинам не устраивал ни Хлебниковых, ни Вербицких.