Капітан Халл, досвідчений мореплавець, один із найвправніших гарпунерів флотилії, мав команду, яка складалася з п'яти матросів і одного новачка. Це замала команда для полювання на китів. Люди потрібні на шлюпках при нападі на кита, а також для розбирання туш. Однак Джеймс Уелдон, за прикладом деяких судновласників, задля економії набирав у Сан-Франціско саме стільки матросів, скільки було потрібно для керування судном у дорозі. В портах Нової Зеландії серед місцевого населення та дезертирів усіх національностей не бракувало вправних гарпунерів та матросів, охочих найнятися на китобійний сезон. Коли сезон кінчався, вони, діставши платню, сходили на берег, де чекали до наступного року, доки знов комусь знадобляться їхні послуги. В отакий спосіб судновласники заощаджували чималі гроші на платні команді й збільшували свої прибутки.

Так велося рік у рік на борту «Пілігрима». Шхуна-бриг вертала від антарктичного полярного кола, скінчивши полювання на китів. Однак трюм не був ущерть заповнений бочками з жиром та з китовим вусом. Уже на той час полювати на китів було важко: через надмірне полювання вони траплялися чимдалі рідше; справжні кити, яких на півночі називали гренландськими, а в південних морях — австралійськими, починали зникати. Китобоям довелось перейти на смугачів, цих велетенських морських ссавців, полювати на яких досить небезпечно.

На смугачів полював і Капітан Халл під час останнього сезону, та влови вийшли небагаті. Проте він мав намір наступного року дістатися у вищі широти і, якщо треба буде, проплисти аж до земель Клері й Аделі, що їх, усупереч твердженням американця Уїлкса, відкрив француз Дюмон-Дюрвіль на «Астролябії» та «Зеле».

Одне слово, це полювання на китів було невдале для «Пілігрима». На початку січня, саме посеред літа на Південній півкулі, коли ще було зарано повертатися додому, капітанові Халлу довелось покинути місця полювання. Додатково найняті матроси — набрід досить сумнівних типів — не дуже перетруджувались, і він вирішив їх звільнити.