Опричная военная машина утратила доверие царя после сожжения Москвы крымцами. Она быстрыми темпами расформировывалась. Со второй половины 1571 г. опричные воеводы отправляются в походы в одних полках с земскими и даже у них под командой. А значит, Дмитрию Ивановичу предстояло вновь столкнуться с конкуренцией со стороны более знатных аристократов.

В опричнине он лишь раз оказался в состоянии местнического спора, да и то с самим главнокомандующим опричным корпусом — Иваном Дмитриевичем Колодкой Плещеевым, принадлежавшим всесильному клану Плещеевых. Теперь ему предстояло сталкиваться в больших местнических разбирательствах со многими великими родами титулованной знати. В 1572 г., пока Хворостинин по изложенным выше причинам ходил в низких воеводских чинах, ему это не грозило. Но как только он начнет получать самые скромные повышения по службе, эта угроза немедленно реализуется. Дмитрий Иванович — один из «рекордсменов» по части местнических дел. За период между 1573-м и началом 1590-х гг. его имя связано с 22 местническими тяжбами! В среднем выходит примерно по одно разбирательству каждые 8 месяцев…

Ученым не известна точная дата отмены опричнины. Возможно, это был процесс, разделенный на несколько стадий. Опричное войско, как уже говорилось, перестало выполнять самостоятельные задачи уже в 1571 г. Тогда же правительство принялось возвращать владельцами поместья и вотчины, переведенные несколькими годами ранее в опричнину. Во второй половине 1572 г. вышел указ, запрещавший поминать опричные порядки. Таким образом, теперь к опричным временам стали относиться крайне отрицательно…

В результате на протяжении нескольких лет Хворостинину давали относительно невысокие должности. В 1573–1574 гг. на него была наложена опала. Хворостинин не смог дойти до отрядов восставшей на казанских землях «луговой черемисы» из-за «снегов великих», то ли просто опоздал к месту сбора войск. Иван IV снял его с командования, обрядил его в женское платье и заставил молоть муку, — дескать, не полководец этот Хворостинин, а сущая баба! Не вспомнил государь, как «баба» защищала Москву у Молодей с последней горстью боеспособных войск