После долгих хлопот и не прежде, чем, по выражению Ермолова, «он наскучил всему миру секретарей и писцов», являясь ежедневно в военную коллегию, Ермолов был принят тем же чином на службу в 8-й артиллерийский полк и получил роту, квартировавшую в Вильне.

Время, проведенное Алексеем Петровичем в ссылке, отразилось навсегда на его характере неизгладимыми чертами. Он стал сосредоточен, задумчив и полюбил уединение.

«Я редко или почти никогда весел не бываю, сижу один дома, — писал он одному из своих друзей. — Я сыскал себе славного учителя на кларнете и страшно надуваю, и по-латыне упражняюсь.»

кроме того аресты и ссылка развили в нем мнительность, и всякая безделица беспокоила его и заставляла страшиться новых неприятностей в том же знакомом роде. Вот один интересный случай, который рассказывает г. Дубровин. Один из офицеров Алексея Петровича проиграл 600 рублей казенных денег. Ермолов тотчас же арестовал его, взыскал деньги с выигравших и, уступив просьбам, а главное, «избегая случая сделать человеку несчастие, сам собою испытавши, сколько тягостно переносить оное», согласился скрыть это дело и не доносить начальству о проступке офицера. По частному письму его к начальству офицер был переведен по неспособности в Кизлярскую гарнизонную роту. Офицер обиделся за то, что его признали неспособным, и решился лучше во всем признаться. Ермолов страшно встревожился; ему мерещились всяческие беды за сокрытие преступления подчиненного, и он не прежде успокоился, как тогда, когда офицер согласился не поднимать этого дела и ехать в Кизлярский гарнизон.

«Страшно боюсь я хлопот, — писал он по этому поводу к своему другу, — трехлетнее несчастье сделало меня робким».