Однако время пребывания Глебова в должности генерал-прокурора оказалось весьма недолгим (немногим более двух лет) и довольно бесцветным. Оно характеризуется почти полным отсутствием «доношений» от представителей местной прокуратуры. А те немногие, которые к нему поступали, он обычно направлял в Сенат, не делая никаких предложений.

Будучи опытным царедворцем, хитрым и изворотливым (современники называли его «человеком с головой»), генерал-прокурор очень тонко оценил обстановку во время дворцового переворота 1762 года и, несмотря на привязанность к Петру III, сразу же поддержал Екатерину II. Поскольку он обладал не только исключительными способностями, но и трудолюбием, Екатерина II, знавшая о его дурных наклонностях и корыстолюбии, продолжала держать Глебова на высшем прокурорском посту. Более того, она поручила ему вместе с графом Н. И. Паниным руководство только что созданной Тайной экспедицией, расследовавшей все политические дела.

Мало занимаясь организацией работы подчиненных прокуроров, Глебов сосредоточил основное внимание на деятельности Сената, хозяйственных и финансовых вопросах, подготовке различных узаконений. Именно этого касались многочисленные поручения императрицы, которые он исполнял всегда оперативно, в считанные дни давая ответ Екатерине II. По ее предложению он, например, подготовил специальное узаконение, направленное на борьбу с лихоимством судей и чиновников.

Однако вскоре его положение при высочайшем дворе заметно пошатнулось, чему в немалой степени способствовали сомнительные коммерческие сделки, особенно связанные с винным откупом в Иркутске, в которые он втянулся еще в бытность свою обер-прокурором. После проведенного расследования Екатерина II нашла, что Глебов в этом деле оказался «подозрительным и тем самым уже лишил себя доверенности, соединенной с его должностью». 3 февраля 1764 года А. И. Глебов был смещен с поста генерал-прокурора, с предписанием императрицы «впредь ни на какие должности его не определять».