Скончалась императрица Анна Иоанновна, а через три месяца после этого правительницей Анной Леопольдовной был сослан Бирон. Проскуров снова ожил, снова полный надежд вернулся в Петербург, нашел дорогу к сильным людям, но едва приготовился встретить радостью как будто к нему на этот раз обращенную улыбку счастья, как новый удар, новое разочарование: ноябрьскою темною ночью цесаревна Елизавета Петровна явилась в казармы Преображенского полка, с тремястами солдат арестовала правительницу и была провозглашена самодержавной императрицей. Сильные люди, на которых надеялся и в которых верил Проскуров, а именно Миних, Остерман, Головин, были сосланы в далекие города, а сам Проскуров отправлен «вечным» бригадиром вновь в свое имение. "И все за то только, что в жилу не умел попасть", — как говорил он.

С тех пор, то есть с воцарения Елизаветы Петровны, князь Андрей Николаевич жил уже безвыездно в деревне.

Однако, поселившись там, он все еще в глубине души надеялся, что настанет наконец и его время, и ждал этого времени, не замечая, что годы проходят, а сам он стареется. Это начало старости становилось в нем в особенности заметным по увеличивающейся с каждым годом ворчливости и раздражительности.

Свою барскую усадьбу Проскуров устроил в виде замка, окружив ее частоколом, валами и бойницами: он открыто принимал у себя только таких людей, которые бранили современные порядки, и не пускал к себе лиц начальствующих; и благодаря его богатству это сходило ему, а главное — и ездили-то к нему в сущности люди самые смирные, только прикидывавшиеся пред ним недовольными, чтобы иметь к нему доступ, потому что всегда находили у него хороший завтрак и отборные вина. Князь Андрей Николаевич только и бывал в духе, когда, сидя за столом и кивая дворецкому, чтобы тот подливал вина, слушал разговоры о том, какие тяжелые времена, мол, переживаются теперь. Тогда он хмурил свои нависшие на глаза брови и одобрительно потряхивал чубуком.