После Бородинского сражения, отправляясь на лечение (он был ранен в бою) в собственное имение, Воронцов пригласил с собой пятьдесят раненых офицеров и триста солдат. Покидая с оккупационным корпусом, которым он командовал, Францию, из личных средств оплатил долги всех офицеров. И этим вовсе не ограничивались его достоинства, крепко смешанные, впрочем, с холодностью, честолюбием, властностью. Ни по службе, ни по чину, ни тем более по ссыльному своему положению Пушкин никак не мог претендовать на личное знакомство с Воронцовым, лишь столичные рекомендации позволили ему войти в круг генерал-губернатора. «Предания той эпохи упоминают о женщине (красавице Елизавете Ксавериевне, жене Воронцова), превосходившей всех других во власти, с которой управляла мыслию и существованием поэта. Пушкин нигде о ней не упоминает, как бы желая сохранить про одного себя тайну этой любви. Она обнаруживается у него только многочисленными профилями прекрасной женской головы спокойного, благородного, величавого типа, которые идут почти по всем его бумагам из одесского периода жизни».

Намеренно подчеркивая подневольное положение поэта, Воронцов не раз поручал ему дела, на взгляд самого Пушкина, оскорбительные. Например, отправлял в уезды собирать сведения о появившейся там саранче. Известен стихотворный отчет, поданный Пушкиным генерал-губернатору: «Саранча летела, летела – и села. Сидела, сидела, всё съела и вновь улетела». Старому своему другу А. Тургеневу Пушкин писал: «Я устал зависеть от хорошего или дурного пищеварения начальника, мне надоело, что со мною в моем отечестве обращаются с меньшим уважением, чем с первым английским шалопаем. Воронцов – вандал, придворный хам и мелкий эгоист. Он видел во мне коллежского секретаря, а я, признаюсь, думаю о себе что-то другое». Раздраженный поведением Пушкина Воронцов энергично потребовал его удаления из Одессы. Помог случай: в руки полиции попало письмо, в котором поэт отвергал бессмертие души и одобрял атеизм как «систему, более всего правдоподобную». Царь, когда ему донесли о письме, приказал уволить Пушкина со службы и отправить в новую ссылку, на этот раз в усадьбу отца – село Михайловское Псковской губернии.