Тем временем «…в домике, который находился на арендованной матерью земле, организовалась «конспиративка» Либавской организации РСДРП(б), которая первое время служила убежищем для преследуемых товарищей в годы реакции, впоследствии стала также складом оружия Либавской организации и местом, где печатались и размножались листовки, обсуждались планы побега за границу, предстоящие эксы и т. д.»

Осенью 1911 года полиция совершила неожиданный налет на дом Штубисов, но так как посторонних, оружия и листовок обнаружено не было, то после двух недель ареста Генрих с младшей сестрой были отпущены. Пострадал лишь старший брат Феликс.

В 1909 году он примкнул к Либавской организации анархистов-коммунистов (имел клички Берзин и Стобрис), после ареста в 1911 году три года просидел в тюрьмах Либавы, Риги и Санкт-Петербурга. В 1914 году по приговору Санкт-Петербургской судебной палаты Феликс Штубис «за принадлежность к литовско-латышской анархической федерации и хранение ее воззваний» был приговорен к ссылке на поселение

Утратив этого, пожалуй, единственного кормильца, вдова Штубис решила отослать от греха подальше младшего сына, уже имевшего опыт общения с жандармами. В ноябре 1912 года Генрих ушел из мастерской и поступил палубным юнгой и кочегаром на океанский корабль «Курск» Русско-Восточного Азиатского пароходства, совершавший рейсы Либава — Нью-Йорк. За шесть месяцев службы на «Курске» он побывал в Соединенных Штатах Америки, Канаде, Англии, Голландии, Дании — словом, «повидал мир», но, вернувшись в Либаву, опять поступил в мастерскую. Теперь как подмастерье он получал более-менее сносное жалованье. Вместе с тем Генрих продолжал связь с местными подпольщиками, для которых наступили трудные времена: часть из них разбежались, оставшиеся один за другим вылавливались жандармами. Та же судьба постигла и нашего героя: в октябре 1913 года он «…снова был арестован… с группой товарищей (Керле, Циммерман, Ванаг и др.), заключен в Либавскую тюрьму, затем переведен в Митавскую, где содержался в одиночке»