В середине 1860-х Ныо-Йорк слыл одним из самых коррумпированных и преступных городов мира: там было полно продажных политиков и полицейских, ирландских и еврейских иммигрантских банд, сутенеров и проституток. Начав как обычный карманник, Уорт вскоре собрал шайку и добился доверия самых известных нью-йоркских скупщиков краденого, став руководителем, организатором и финансистом грабежей, которые совершали его люди. Попавшись на ограблении фургона «Адамс экспресс компани», он несколько недель провел в знаменитой тюрьме Синг-Синг (штат Нью-Йорк). После чего решил, что печальный опыт не должен повториться, и нашел себе покровительницу — Марм Мандельбаум, самую удачливую скупщицу краденого в Ныо-Йорке. Под ее руководством и защитой он стал грабить банки и складские помещения. Точно так же, как дойлевский Мориарти, Уорт достигал желаемого благодаря интеллекту и сделал своим принципом следующий: человек с мозгами не имеет права носить огнестрельное оружие. Всегда есть способ, и гораздо лучший, добиться того же самого с помощью ума. За всю жизнь он ни разу не прибегал к насилию и, в отличие от своего литературного конкурента, запрещал делать это другим. Успешный побег из тюрьмы «Белые равнины» медвежатника Чарлза Булларда, организованный Уортом и еще одним его приспешником по просьбе Мандельбаум, не только упрочил его авторитет в преступном мире Нью-Йорка, но и сдружил его с Буллардом, с которым они стали компаньонами.

Первым делом этой пары было дерзкое ограбление Бойлстоунского национального банка, совершенное в Бостоне 20 ноября 1869 года. Под видом продавцов укрепляющих средств они сняли помещение рядом с банковским хранилищем, разобрали стену, взломали сейф и вынесли миллион долларов наличными и в ценных бумагах, после чего бежали в Англию. Здесь Адам Уорт, впервые назвавшийся Генри Раймондом — именем покойного редактора «Нью-Йорк таймс» (под каковым и жил до конца своих дней), занялся грабежом ростовщических лавок.