Корпус выступил на восток, а в Петербурге уже вовсю муссировались слухи, что либерализм Воронцова потакает якобинскому духу, а дисциплина и военная выучка солдат оставляют желать лучшего. Сделав смотр русским войскам в Германии, Александр I выразил недовольство их недостаточно быстрым, по его мнению, шагом. Ответ Воронцова передавался из уст в уста и сделался известен всем: «Ваше Величество, этим шагом мы пришли в Париж». Вернувшись в Россию и почувствовав явную недоброжелательность к себе, Воронцов подал рапорт об отставке. Александр I отказался ее принять. Что ни говори, а без Воронцовых было не обойтись…

…В феврале 1819 года 37-летний генерал отправился к отцу в Лондон, чтобы испросить разрешения жениться. Его невесте, графине Елизавете Ксаверьевне Браницкой, шел уже 27-й год, когда во время своего путешествия за границу она встретила Михаила Воронцова, который тотчас же сделал ей предложение. Элиза, как звали Браницкую в свете, полька по отцу, русская по матери, родня Потемкину, обладала громадным состоянием и тем невероятно чарующим обаянием, которое заставляло всех видеть в ней красавицу.

Чета Воронцовых вернулась в Петербург, но очень ненадолго. Михаил Семенович не задерживался ни в одной из российских столиц — служил, куда царь пошлет. Назначением на юг России, случившемся в 1823 году, он остался очень доволен. Край, до которого у центра все никак не доходили руки, являл собой средоточие всех возможных проблем: национальных, экономических, культурных, военных и так далее. Но для человека инициативного это громадное полусонное пространство с редкими вкраплениями цивилизации было настоящей находкой, тем более что царем ему были даны неограниченные полномочия.

Вновь прибывший генерал-губернатор начал с бездорожья, неискоренимой русской напасти. Спустя чуть более 10 лет, проехав от Симферополя до Севастополя, А.В. Жуковский записал в дневнике: «Чудная дорога — памятник Воронцову». За этим последовало первое на юге России Черноморское коммерческое российское пароходство.