Ермолов не мог увлекаться светскою жизнию; он беспрестанно занимался военными науками и назойливо просил графа Самойлова зачислить его в артиллерию, что, наконец, и было исполнено.

Восстание в Польше оторвало Алексея Петровича от его научных занятий: он участвовал в этой кампании и получил орден св. Георгия за штурм Праги.

В следующем году он был отправлен за границу, в Италию, где, будучи прикомандирован к главной квартире австрийского главнокомандующего, участвовал в войне австрийцев с французами. Едва только он успел вернуться в Россию, как в 1796 году принял участие в новом походе персидском, под предводительством графа Валерьяна Зубова.

Начавши службу так удачно, Алексей Петрович с шестнадцати лет приобрел самостоятельность и репутацию, которые сулили ему блестящую будущность. Но судьба неожиданно подставила ему ногу.

Смоленский губернатор сделал донос на Каховского, брата Алексея Петровича по матери. Тот был взят по этому доносу под арест, а вместе с ним был арестован и Ермолов: его взяли и отвезли в Калугу.

Но чуть только Ермолов явился в Калугу к губернатору, ему было объявлено всемилостивейшее прощение государя и возвращена шпага. Тем не менее, однако, Ермолов счел себя всем этим крайне оскорбленным и требовал от генерала Линденера объяснений, которых тот ему, разумеется, не дал, но зато тотчас же секретно донес о нем как "о человеке неблагонадежном". Последствием этого нового доноса было то, что за Ермоловым в Калугу был прислан из Петербурга курьер, который и отвез его прямым трактом в Петропавловскую крепость, где Ермолов потомился под стражею, а затем он был сослан в Кострому.

Там он нашел другого изгнанника, Платова, впоследствии графа и атамана Войска Донского.