Затем он, примкнув к левому, революционному крылу организации, сделался ее активным деятелем. Выступая в качестве агитатора, он печатал и распространял листовки, принимал непосредственное участие в организации забастовок. Он искренне верил в справедливость избранного им пути. «Я возненавидел богатство, так как полюбил людей», – писал Дзержинский в своем дневнике, – так как я вижу и чувствую всеми струнами своей души, что сегодня люди поклоняются золотому тельцу, который превратил человеческие души в скотские и изгнал из сердец людей любовь… Помни, что в душе таких людей, как я, есть святая искра, которая дает счастье даже на костре».

   Вскоре последовал и первый арест: 17 июля 1897 года Дзержинского арестовали за революционную пропаганду и заключили под стражу в Ковенскую тюрьму. А в 1898 году его выслали на три года в город Номенск, расположенный в Вятской губернии. Всего через год он совершил свой первый побег: на лодке по реке Каме Железный Феликс покинул место ссылки. Это случилось 28 августа 1899 года.

   Ссылка в Кайгородское, куда Дзержинского перевели из Нолинска, привела к тяжелому заболеванию: 15 февраля 1899 года уездная Слободская призывная медицинская комиссия заявила ему, что он обречен на скорую смерть в результате прогрессирующей трахомы. Но Железный Феликс не боялся смерти, он только сетовал на то, что ничего не успел сделать в жизни. «Как горько, невыносимо больно сознание: жил и ничего не сделал, ничего не принес с собой… Этого быть не может», – писал Дзержинский своей знакомой по Нолинску Маргарите Федоровне Николаевой. Именно в этот момент он решился на свой первый побег, чтобы успеть как можно больше поработать в оставшееся ему время. «Я постараюсь устроить свою короткую жизнь так, чтобы пожить ею наиболее интенсивно», – писал он в другом письме.

   Но вскоре выяснилось, что заключение призывной медицинской комиссии оказалось сильно преувеличенным: врачи, предупрежденные властями, старались просто отстранить опасного бунтовщика от армии, где он мог бы развернуть опасную агитационную деятельность.