В том же 1744 году Алексей Григорьевич получил графское достоинство. Его реальный политический вес был огромен. 8 апреля 1747 г. саксонец Пецольд доносил в Дрезден: "Все уже давно предполагали, а я теперь знаю за достоверное, что императрица несколько лет тому назад вступила в брак с обер-егермейстером ... Влияние старшего Разумовского на государыню до того усилилось после брака их, - продолжал резидент, - что, хотя он прямо и не вмешивается в государственные дела,.. однако каждый может быть уверен в достижении того, что хочет, лишь бы Разумовский замолвил слово". Еще в 1743 г. граф отправил своего младшего брата Кирилла Григорьевича на два года для обучения за границу, а когда тот вернулся, продвинул его на посты президента академии наук и гетмана Украины. Младший Разумовский. "Он был хорош собою, - писала в мемуарах Екатерина II, - очень приятен в обращении и умом несравненно превосходил брата своего... Я не знаю другой семьи, которая будучи в такой отменной милости при дворе, была бы так всеми любима, как эти два брата".

Брак Елизаветы был, что называется, для двора тайной полишинеля. Императрица слишком по-семейному вела себя с Разумовским, часто посещала Алексея Григорьевича в его покоях, обедала там, на людях застегивала ему шубу и поправляла шапку при выходе из театра в морозные дни. Польский король Станислав-Август Понятовский, описывал в своих мемуарах, как он, еще будучи молодым дипломатом, и находясь в России под покровительством Бестужева-Рюмина, часто гостил в доме канцлера и слышал кулуарные беседы русских политиков. "Сам Бестужев неоднократно настаивал на том, - сообщает Понятовский, - чтобы Елизавета объявила публично о своем тайном браке с Разумовским - империи нужен был наследник по прямой линии".