Но вскоре его положение при высочайшем дворе пошатнулось, чему в немалой степени способствовала всплывшая вдруг история с винным откупом в Иркутске. Императрица, услышав о скандальном деле, своим указом приказала «окончить следствие» и взяла его под личный контроль.
Глебов, хотя и оставался генерал-прокурором, помешать этому уже не мог. В результате по приговору Сената бывший следователь Крылов был наказан кнутом в Иркутске, а затем отправлен на вечную каторгу. Имение его пошло с молотка, а вырученные деньги раздали «обиженным» им людям. Императрица нашла, что Глебов в этом деле оказался «подозрительным и тем самым уже лишил себя доверенности, соединенной с его должностью». 3 февраля 1764 года он был смещен с поста генерал-прокурора и «переименован» в генерал-поручика с предписанием императрицы «впредь ни на какие должности его не определять».
Тем не менее Екатерина II не склонна была отказываться от толкового, хотя и корыстолюбивого сотрудника. Поэтому Глебов сохранил за собой должность генерал-кригскомиссара, а в 1773 году даже пожалован в генерал-аншефы. В 1775 году его назначают смоленским и белгородским генерал-губернатором. Но тайное опять становится явным — уже в следующем году ревизия вскрыла серьезные злоупотребления и хищения в Артиллерийской конторе и Главном кригскомиссариате, учиненные во время его руководства, обнаружила недостачу огромных сумм денег, значительного количества сукна и других материалов — всего на полмиллиона рублей (сумма по тем временам фантастическая!). По поручению императрицы была создана специальная следственная комиссия, а в июне 1776 года Глебов был вызван из наместничества в столицу, и тогда же его отстранили от всех должностей «донеже по делам, до него касающихся, решение последует».