Вскоре царю Ивану пришлось признать неудачу своей опричной затеи и вернуть в Москву ссыльнопоселенцев. По его приказу казна стала возвращать им вотчины либо наделяла их примерно равноценными землями.

По возвращении из Казани в Москву Федор Пожарский вновь оказался на службе и участвовал в последних кампаниях Ливонской войны в скромном чине дворянского головы. До воеводского чина он так и не дослужился. Перед кончиной Федор принял пострижение в Троице-Сергиевом монастыре. Жена его, княгиня Мавра, пережила супруга на тридцать три года.

Федор Пожарский женил своего старшего сына Михаила на Марии Берсеневой-Беклемишевой. В ноябре 1578 года в семье Михаила и Марии родился сын Дмитрий, будущий знаменитый воевода. В лице княжича Дмитрия соединились два опальных рода. Пожарские пострадали от Грозного, Берсеневы – от его отца Василия III.

Прадед Дмитрия Михайловича Пожарского Иван Берсень был человеком широко образованным. Он близко сошелся с известным писателем и гуманистом Максимом Греком. Вокруг этих двух людей собрались все те, кто выражал недовольство политикой Василия III. В откровенных беседах с Греком Иван Берсень негодовал на самодержавные замашки московского государя, требовал возврата к старым порядкам и прекращения бесконечных войн. Обладая острым язвительным умом, Берсень не боялся перечить великому князю. Фанатически настроенное духовенство настояло на расправе с вольнодумцами. Берсеню отрубили голову на льду Москвы-реки. Максима Грека осудили на вечное заточение в монастырской тюрьме.

Семья Беклемишевых бережно хранила память о знаменитом деде. Мария Пожарская получила по наследству некоторые из его земель.

Казанская ссылка подорвала благополучие Пожарских. Казна вернула им село Мугреево (Волосынино) и некоторые другие родовые земли в Стародубе. Но за время отсутствия владельцев эти вотчины пришли в упадок. Семье предстояло налаживать жизнь заново.

Сразу после свадьбы Михаил Пожарский продал сельцо Калмань, полученное им с приданым из семьи Марии Берсеневой-Беклемишевой.