Между 1573 и 1578 гг. карьера князя «замерзает». Дмитрий Иванович участвовал в дюжине походов. Его отправляли то на юг, против крымцев, то на ливонский фронт. Он видел победы русской армии — взятие Пайды и Кеси (Вендена), видел и поражение под Колыванью, потерю той же Кеси, неудачную попытку вернуть эту крепость… Сам удачно действовал против татар под Воскресенском. Но на протяжении всего этого периода ему ни разу не дали командовать не то что отдельной ратью, а хотя бы полком. Хворостинина все время расписывали вторым воеводой. В худшем случае — вторым в сторожевом полку, который был «честию ниже» прочих, в лучшем случае — в полку правой руки.

Стефан Баторий. Портрет работы Яна Матейко

Летом 1578 г. дело дошло до обидной несправедливости. Хворостинина первый раз за много лет назначили командовать сторожевым полком. Не столь уж великое назначение! Он участвовал в счастливом взятии ливонской крепости Полчев. Но из-за нового местнического спора — с князем М.В. Тюфякиным, который не пожелал быть под Хворостининым вторым воеводой, Дмитрий Иванович был отправлен из победоносной армии в Москву… Впрочем, не было бы счастья, да несчастье помогло. Вскоре половина воевод этой рати переместничается, и армия потерпит страшное поражение под Кесью, при очередной попытке возвратить город. Четверо наших воевод погибли, еще четверо оказались в плену, другие с позором бежали. А русские артиллеристы в отчаянии, не желая сдаваться, повесились на пушках, которые некому стало защищать от неприятеля.

Бог уберег Дмитрия Ивановича от этой беды.

Лишь в самом конце 70-х — начале 80-х он сделал скромный шажок наверх.