Незадолго до свадьбы, 10 декабря 1755 года, Глебову был пожалован чин обер-прокурора Сената. Венчание состоялось в январе 1756 года в присутствии императрицы. Однако брак этот оказался кратковременным. Мария Симоновна была уже «на последнем градусе чахотки» и скончалась через полтора месяца после свадьбы.

Граф Шувалов так и не смог использовать это супружество в своих целях, но оно дало возможность Глебову приблизиться к высочайшему двору. И это, конечно, сказалось на его стремительной карьере. В ноябре 1758 года он был удостоен ордена Св. Анны, а 16 августа 1760 года назначен генерал-кригскомиссаром и получил чин генерал-майора. В отличие от князя Я. П. Шаховского, А. И. Глебов исполнял свои обязанности не столь рачительно, что особенно сказалось на снабжении армии во время войны с Пруссией.

25 декабря 1761 года только что вступивший на престол Петр III назначил Глебова генерал-прокурором Сената. Будучи очень дружен с императором, он довольно быстро занял прочное место среди приближенных к монарху вельмож. Ему была поручена подготовка целого ряда важных узаконений. В частности, Александр Иванович являлся одним из авторов известных манифестов: от 18 февраля 1762 года «О даровании вольности и свободы всему российскому дворянству» и от 21 февраля 1762 года «Об уничтожении Тайной канцелярии».

В феврале 1762 года Глебов был награжден орденом Св. Александра Невского, став таким образом первым александровским кавалером в царствование Петра III.

В этот период генерал-прокурор работал много и неустанно. Каждый день в 8 часов утра он одним из первых являлся во дворец с докладом к императору. Он занял почти такое же положение, как и первый генерал-прокурор П. И. Ягужинский, став как бы посредником между государем и Сенатом. Почти все поручения Сенату, подписанные Петром III, были составлены Глебовым.