Во время карточной игры у императрицы он бросает на Елизавету томные взгляды, испускает тяжкие вздохи, не остающиеся незамеченными. Смущенная Елизавета, обнаружив немалую выдержку, уклоняется от его ухаживаний. Тогда он разыгрывает отчаяние, целыми днями валяется на диване, велит музыкантам играть печальные мелодии, дабы излечить его сердечную рану, и подсылает к великой княгине графиню Шувалову, поручив ей побудить Елизавету к уступчивости. Молодая женщина, осаждаемая просителем такого полета, с тактом, необычайным в столь юном создании, отклоняет комплименты, избегает объяснений и, любезно улыбаясь, остается неприступной. Александр, заметив, как и все, маневры Зубова, не осмеливается поставить на место всесильного временщика. Как бы глубоко ни были оскорблены его чувства молодого мужа, он предпочитает молчание взрыву негодования. Все лучше, чем скандал, который неизбежно вызовет открытая ссора. Снедаемый беспокойством, он пишет своему другу графу Виктору Кочубею, послу России в Константинополе: «Мы были бы очень счастливы с моей женой, и мы счастливы, когда мы одни, когда нет возле нас графини Шуваловой, которая, к сожалению, приставлена к моей жене». И далее в том же письме: «Граф Зубов влюбился в мою жену в первое же лето нашего брака, то есть год и несколько месяцев назад. Посудите, в какое неприятное положение он ставит мою жену, которая ведет себя, как истинный ангел. Согласитесь, что чрезвычайно сложно правильно вести себя по отношению к Зубову… Ладить с ним – значит как бы оправдывать его любовь; проявить холодность, чтобы образумить его, значит рассердить императрицу, которая ничего не знает и сочтет, что без всякой причины дурно обращаются с человеком, удостоенным ее благосклонности. Невероятно трудно держаться середины при дворе, столь злом и коварном, как наш».

На самом деле от зоркой Екатерины не укрылась страсть фаворита к великой княгине, но она не принимает всерьез этот флирт, который, она в этом убеждена, к успеху не приведет.