Никогда князь Алексей Юрьич не был так доволен судьбой, как в короткое царствованье Петра II. Хоть в то время было ему уж под сорок, но вошел он в тесную дружбу с даровитым, обаятельным, но беспутным юношей, князем Иваном Алексеичем Долгоруковым и был с ним все три года его могущества неразлучен. Князь Заборовский, под защитой всесильного кутилы, дал полную волю своему разгулу. Под прикрытием драгун, ровно сумасшедший, скакал он с князем Иваном по московским улицам, буйствовал днем, а по ночам нагло врывался в мирные семейства честных людей… Но когда Долгоруков девятилетней ссылкой и смертью на колесе платил за грехи молодости, ловкий князь Алексей Юрьич, ругая на чем свет стоит павшего собутыльника, с прекрасным аппетитом изволил кушать за роскошными обедами герцога Эрнста-Иоанна Курляндского. Будучи знатоком в лошадях и проводя ночи в попойках с братом герцога, Карлом, был он в ходу при Бироне, достиг генеральского ранга и получил кавалерию Александра Невского… Но в 1743 году счастье повернуло к нему спину: сказано было князю Алексею Юрьичу ехать в свои деревни. Такую немилость современники объясняли близкими отношениями его к царице всех балов и ассамблей, графине Ягужинской, и дружбою с первой красавицей Петербурга, Натальей Федоровной Лопухиной. Под шумок поговаривали, будто Ягужинская в числе немногих принимала князя Заборовского во время своего таинственного затворничества, будто фавориту Натальи Федоровны, графу Рейнгольду Левенвольду, князь Алексей Юрьич проигрывал в фаро огромные суммы, будто близок он был с венским резидентом, маркизом Боттой, будто раз на охоте арапником отдул самого Разумовского.