Василий Аксенов родился 20 августа 1932 года в Казани, в семье партийных работников, Евгении Семеновны Гинзбург и Павла Васильевича Аксенова. Был третьим, младшим ребенком в семье (и единственным общим ребенком родителей). Отец был председателем Казанского горсовета и членом бюро Татарского обкома партии. Мать работала преподавателем в Казанском педагогическом институте, затем — заведующей отделом культуры газеты «Красная Татария». Впоследствии, пройдя сталинские лагеря, во времена разоблачения культа личности Евгения Гинзбург написала книгу воспоминаний «Крутой маршрут» — одну из первых мемуарных книг об эпохе сталинских репрессий и лагерей, рассказ о восемнадцати годах, проведенных в тюрьме, лагере и ссылке.

В 1937 году, когда В. Аксенову не было еще и пяти лет, родители (сначала мать, а затем вскоре и отец) были арестованы и осуждены на десять лет тюрьмы и лагерей. Старших детей — сестру Майю (дочь П. В. Аксенова) и Алешу (сына Е. С. Гинзбург от первого брака) — забрали к себе родственники. Вася был принудительно отправлен в детский дом для детей заключенных (его бабушкам не разрешили оставить ребенка у себя). В 1938 году дяде В. Аксенова (брату П. Аксенова) удалось разыскать маленького Васю в детдоме в Костроме и взять его к себе. Вася жил в доме у Моти Аксеновой (его родственницы по отцу) до 1948 года, пока его мать, выйдя в 1947 году из лагеря и поселившись в ссылке в Магадане, не добилась разрешения на приезд Васи к ней на Колыму. Встречу с Васей Евгения Гинзбург описала в «Крутом маршруте».