Из восьми детей Рукавишниковых шестеро умерли молодыми; в живых остались только Василий и Елена, самая младшая. Это была нежная, робкая, умная женщина; нервная и чувствительная, она казалась сыну более сложной натурой, чем его всегда невозмутимый отец. Очевидно, два соседствовавших семейства долгое время тесно общались между собой: по рассказам, старший брат В.Д. Набокова, Дмитрий, также просил руки Елены
В.Д. Набоков сделал предложение Елене Рукавишниковой во время велосипедной прогулки по дороге, круто поднимавшейся из Выры в деревню Грязно. На память об этом событии они позднее посадили на этом месте липу VII В 1880-1890-х годах Набоковы сохраняли свою близость ко двору. После того как Александр III уволил Дмитрия Набокова от должности министра юстиции, он продолжал оставаться членом Государственного совета. Набокову было отведено одно из почетных мест во время коронации Николая II, который впоследствии наградил его орденом Андрея Первозванного Владимир Набоков гордился своим отцом, называя его «здоровым и жизнерадостным бунтарем» В пятидесятые годы, работая в Корнеле над своей автобиографией, Набоков хотел поехать в Библиотеку Конгресса, чтобы собрать материалы для главы, посвященной отцу; однако у него не хватило на это ни времени, ни средств Один из ближайших соратников В.Д. Набокова, Иосиф Гессен, который был среди основателей леволиберальной газеты «Право», вспоминал о том, с какими трудностями им пришлось столкнуться при формировании редакционного комитета. Долго не могли найти специалиста по уголовному праву. После того как две кандидатуры пришлось отклонить, решено было обратиться к В.Д. Набокову, которого в редакции «опасались как элемента чужеродного»: «Мы все в общем были люди одного круга, одной социальной ступени. Набоков же, сын министра, камер-юнкер, женатый на миллионерше Е.И. Рукавишниковой, живший в барском особняке на Морской… рисовался нам человеком с другой планеты»