Выходка великого князя привела Елизавету в гнев и до глубины души оскорбила Разумовского, но даже он не мог высказать цесаревичу своего негодования. С этого времени Алексей Григорьевич, мягко говоря, недолюбливал Петра Федоровича. В последние годы царствования Елизаветы Разумовского оттеснили новые фавориты, сначала Н.А. Бекетов, а потом И.И. Шувалов.

Императрица старела, но не хотела сдавать позиций самой красивой дамы в Европе. Французский дипломат Ж.-Л. Фавье писал, что "никогда женщина не примирялась труднее с потерей молодости и красоты". Одним из средств борьбы с надвигавшимся увяданием Елизавета избрала молодых любовников. Но ее отношения с Разумовским до конца дней оставались дружескими и по-настоящему теплыми. Алексей Григорьевич не ушел в тень, и даже падение канцлера Бестужева-Рюмина, обвиненного в государственной измене, не отразилось на покровителе последнего. Столь почетное и прочное положение было возможно именно благодаря тому, что его с императрицей связывали тайные нерасторжимые узы.

Смерть Елизаветы была для Алексея Григорьевича страшным ударом. По словам саксонского министра графа Г. Брюля, "из всех русских вельмож достойнее всех себя показал фельдмаршал Разумовский, брат гетмана. После кончины императрицы он поверг к стопам нового монарха все свои знаки отличия, испрашивая как единственную милость, оставить за собой из всего огромного имущества одно только имение в Малороссии, где бы мог он провести остаток дней своих". Однако император отклонил его просьбу. В сущности Петр Федорович не был ни злым, ни мстительным человеком, он возвращал в столицу тех, кто подвергся опале в прежние царствования, и пока ни на кого не обрушил своей немилости. Новый государь оставил за Разумовским все его несметное богатство и высокий титул. Казалось бы, Алексей Григорьевич должен был испытывать благодарность к монарху. Но в том-то и была беда Петра Федоровича, что личным поведением он перечеркивал все хорошее, что делал.