После смерти отца Жан унаследовал его дело. женился и в 1803 году, продав все имущество, решил вернуться в Европу. В Мексиканском заливе на их судно напали испанские корсары, ограбили пассажиров до нитки, а его с женой высадили на пустынном островке. Жена вот-вот должна была родить. Им повезло: проходившая мимо американская шхуна подобрала несчастную пару и привезла ее в Новый Орлеан, Здесь мадам Лафит умерла при родах, оставив мужу новорожденную девочку. Рассказ вдовца неизменно трогал сердца слушательниц.

Давно молчат пушки, когда-то отвечавшие на вызов флибустьеров.

Официально Жан Лафит числился купцом. Мужчины, слушавшие без комментариев его автобиографию, не отказывали себе в удовольствии обменяться за его спиной едкими замечаниями о специфическом характере торговых операций Лафита, но в большинстве они были так или иначе обязаны ему, к тому же молодой француз умел вести дела незаметно, а в поведении был образцовый джентльмен.

О Жане Лафите долго ходили самые таинственные слухи. Лишь недавно его подлинная биография стала достоянием гласности. Жан Лафит родился не в Бордо, а в Порт-о-Пренсе на острове Санто-Доминго (ныне столица Республики Гаити) в 1777 году. Жан был младшим из пяти братьев и трех сестер в семье. В семнадцатилетнем возрасте он женился на Кристине Левин, жившей в датских владениях на Антильских островах, и та родила ему дочь. Кристина действительно умерла от послеродовой горячки на борту судна, шедшего с Санто-Доминго в Новый Орлеан, но корабль благополучно добрался до места назначения, и никакие испанские корсары на него не нападали.

Сегодня во Французском квартале в центре Нового Орлеана, на улице Бурбон, можно видеть длинное низкое строение из кирпича с деревянными балками. На нем висит табличка: "Кузня Лафитов". Да, именно здесь обосновались братья Лафит в начале 1805 года, прикрыв такой невинной вывеской свое основное занятие. Братья были пиратами-контрабандистами.