Интригу против Бутурлина, судя по запискам де Лирия, начал Иван Долгорукий. Он еще раньше упреждал испанского посланника, чтобы тот «не дружился» с камергером принцессы Елизаветы, потому что Бутурлин «ни на что не годится; что прежде он был с ним дружен, но, узнав, что это нехорошо, он оставил его». Каким-то боком в интриге были замешаны и обер-шталмейстер Ягужинский и Остерман. Далее де Лирия пишет: «Остерман сказал мне, что фаворит уведомил его обо всем, что он говорил со мной с глазу на глаз, и что они условились погубить Бутурлина, потому что очень опасно было оставлять его на таком месте, на котором он мог давать дурные советы государю». Очевидно, советы Бутурлина государю шли вразрез с теми, которые давал Петру сам Иван. Дело кончилось тем, что Бутурлина сослали в украинскую армию, и это на многие годы определило его дальнейшую карьеру.

Первый военный опыт Бутурлин получил, воюя с кавказцами, в 1735 году он уже смоленский губернатор, что не помешало ему повоевать с турками в армии Миниха. Победили турок, он опять в Смоленске. Анна Леопольдовна за военные заслуги произвела Бутурлина в генерал-кригс-комиссары и генерал-лейтенанты.

Власть сменилась, на троне Елизавета. Она не забыла своего любимца. О возобновлении прежних отношений не было и речи. Императрица назначила Бутурлина главным правителем Малороссии, но война со Швецией опять призвала его в армию. Бутурлин по-прежнему хорош собой, он хорошо образован, умеет внятно высказать свою мысль, дамы от него без ума. В 1742 году Бутурлин был назначен губернатором Москвы, теперь он сенатор и генерал-аншеф. В 1749 году Бутурлин был назначен подполковником лейб-гвардии Преображенского полка, это была высшая степень доверия. В преддверии Семилетней войны Александр Борисович получил маршальский жезл, теперь он обязан был присутствовать в заседании кабинета министров.

В Семилетней войне четыре главнокомандующих поочередно стояли во главе нашей армии, Бутурлин был последним и отнюдь не лучшим.