Родился 26 (6. VI) мая 1799 года в Москве.

Отец – отставной майор Сергей Львович, из старинного рода.

«Родословная матери моей, – писал поэт, – еще любопытнее. Дед ее негр, сын владетельного князька. Русский посланник в Константинополе как-то достал его из своего сераля, где содержался он аманатом, и отослал его Петру Первому вместе с двумя другими арапчатами. Государь крестил маленького Ибрагима в Вильне, в 1707 году, с польскою королевою, супругой Августа, и дал ему фамилию Ганнибал. В крещении наименован он был Петром; но как он плакал и не хотел носить нового имени, то до самой смерти назывался Абрамом. Старший брат его приезжал в Петербург, предлагая за него выкуп. Но Петр оставил при себе своего крестника. До 1716 года Ганнибал находился неотлучно при особе государя, спал в его токарне, сопровождал его во всех походах; потом послан был в Париж, где несколько времени обучался в военном училище, вступил во французскую службу, во время испанской войны был в голову ранен в одном подземном сражении (сказано в рукописной его биографии) и возвратился в Париж, где долгое время жил в рассеянии большого света. Петр I неоднократно призывал его к себе, но Ганнибал не торопился, отговариваясь под разными предлогами.