Следующие девять лет жизни, практически до самой смерти, Воронцов — в военных походах и в трудах по укреплению русских крепостей и боеготовности армии, а вместе с тем в небезуспешных попытках построить мирную жизнь для мирных людей. Почерк его подвижнической деятельности узнается сразу — он только что приехал, его резиденция в Тифлисе крайне проста и непритязательна, но здесь уже положено начало городской нумизматической коллекции, в 1850 году образовывается Закавказское общество сельского хозяйства. Первое восхождение на Арарат также было организовано Воронцовым. И конечно, снова хлопоты по открытию школ — в Тифлисе, Кутаиси, Ереване, Ставрополе с последующим их объединением в систему отдельного Кавказского учебного округа. По мнению Воронцова, российское присутствие на Кавказе не только не должно подавлять самобытность населяющих его народов, оно просто обязано считаться и приспосабливаться к исторически сложившимся традициям края, потребностям, характеру жителей. Именно поэтому в первые же годы своего пребывания на Кавказе Воронцов дает «добро» на учреждение мусульманского училища. Путь к миру на Кавказе он видел в первую очередь в веротерпимости и писал Николаю I: «То, как мусульмане мыслят и относятся к нам, зависит от нашего отношения к их вере…» В «замирение» края с помощью одной лишь военной силы он не верил.

Именно в военной политике российского правительства на Кавказе Воронцов видел немалые просчеты. По его переписке с Ермоловым, столько лет усмирявшим воинствующих горцев, видно, что боевые друзья сходятся в одном: правительство, увлекшись делами европейскими, мало обращало внимание на Кавказ. Отсюда застарелые проблемы, порожденные негибкой политикой, да к тому же пренебрежением к мнению людей, хорошо знавших этот край и его законы.

Елизавета Ксаверьевна неотлучно находилась при муже во всех местах службы, а иногда даже сопровождала его в инспекционных поездках.