Годы жизни отца Брантома, Франсуа де Бурдея, точно нам неизвестны; мы знаем лишь, что в 1519 г. он женился на Анне де Вивонн, а в 1546 г. составил завещание. Родился он, видимо, в последней четверти XV столетия, и как условную дату указывают 1485 г. Он был отважным военачальником, принимал участие в походах короля Франциска I, был сенешалем (то есть управителем и верховным судьей) провинции Пуату. Анна де Вивонн тоже была неплохих кровей, но ее далеких предков Брантом не разыскивал.

Анне де Вивонн, даме де Бурдей, было около двадцати, когда она вышла замуж, и уже через год у нее появился первенец. Всего у супругов было шестеро детей. Во-первых, четыре сына: Андре де Бурдей (1520–1582), Жан де Бурдей (ум. в 1553 г.), Жан, барон д’Арделе (ум. в 1568 г.), и Пьер — знаменитый мемуарист. Во-вторых, две дочери: Мадлена (ум. в 1618 г.) и Франсуаза (годы жизни неизвестны). У Андре, который женился на придворной даме Екатерины Медичи, Жаккетт де Монброн (1544–1598), их было шестеро, и старшие из них — Анри, барон д’Аршиак (1560–1642), и Жанна (ок. 1560— после 1641), вышедшая замуж за Клода д’Эпине, графа Дюрталя, и стали душеприказчиками и наследниками мемуариста.

Ученые немало спорили о годе рождения будущего писателя. Самой ранней датой называли 1527 г., что совершенно невозможно: мы знаем, что Брантом в 1550 г. поступил в какой-то парижский коллеж, а в 1555 г. появился при дворе. Трудно предположить, что он взялся за науки в 23 года и лишь в 29 переступил порог королевского дворца. В те времена все начинали рано, и молодой человек в шестнадцать лет уже мог быть пажом или даже армейским офицером. Маловероятно и то, что будущий писатель в детстве был хилым и болезненным: вся его дальнейшая жизнь говорит об обратном. Если же принять за дату рождения 1539 или 1540 г., то все становится на свои места: в десять лет начало учебы, в шестнадцать — появление при дворе.