Мать поэта Софья Яковлевна (1844–1911) была дочерью русского еврея-выкреста, Якова Александровича Брафмана (1824–1879), известного публициста, принявшего православие, автора антисемитских произведений, среди которых «Книга Кагала» (Вильно, 1869) и «Еврейские братства» (1888). Он состоял в Императорском географическом обществе, а Александр II пожаловал ему дворянство. Софья Яковлевна выросла вне стен отцовского дома, детство и юность она провела в Литве, в семье князей Раздвиллов, которые окрестили ее по католическому обряду и воспитали в католической вере. Была она ревностной и страстной католичкой, нежной и любящей матерью, постоянно дрожавшей за слабое здоровье Владислава, которого родила в сорок два года. В семье она была хранительницей польских и католических обычаев («Мама! Молитва, любовь, верность и смерть — это ты!» — «Дактили»). Некоторые российские исследователи незаслуженно умаляют значение материнского влияния на поэта — в том, что касается его отношения к Польше и католичеству. Между тем о влиянии Польши говорят и поэтические произведения, и эссеистика Ходасевича, а воспоминания близких поэта — таких, как Н. Берберова и Ю. Терапиано — свидетельствуют о его тесной связи с католичеством.
Впрочем, о своих семейных корнях лучше всего рассказывает он сам в автобиографическом отступлении в одной из статей 1935 г., которое, как ни странно, ни разу не цитировалось в работах о Ходасевиче:
«Мой отец родился ровно сто лет тому назад, в 1835 году, в том самом Новогрудке, который был родиной Мицкевича. По семейному преданию, предки мои были в дальнем родстве с Мицкевичами. В отцовских бумагах я не нашел подтверждения прямому родству, но несомненно, что оба рода принадлежали к одному шляхетскому гнезду и знаменовались общим гербом. Отец мой рано покинул родину, добрался до Петербурга и поступил в Академию Художеств, где был учеником Бруни и товарищем Перова, с которым они вместе и голодали. Окончив Академию, отец поехал в Вильну, но там прожил недолго и, женившись, окончательно перебрался в Россию: сперва в Тулу, где родились все мои братья и сестры, а потом в Москву.