Василий брал с них записи, клятвенные грамоты в Литву на службу не отъезжать, между прочим, князь В. В. Шуйский дал такую запись: «от своего государя и от его детей из их земли в Литву, также к его братьям и никуда не отъехать до самой смерти». Такие же записи дали князья Бельские, Воротынские, Мстиславские. При Василии Иоанновиче только одного князя В. В. Холмского постигла опала. Дело его неизвестно, и только отрывочные факты, дошедшие до нас, бросают на него некоторый слабый свет. При Иоанне Ш с Василия Холмского взята была клятвенная грамота не отъезжать в Литву на службу. Это не помешало ему при Василии занять первое место в ряду бояр и жениться на сестре великого князя. За что постигает его опала — неизвестно; но занятие его места князем Данилой Васильевичем Щеня — Патрикеевым и нередкая смена на этом месте княжат от племени св. Владимира княжатами из рода Гедимина дают повод думать о разладе в среде самого боярства.

К отношениям Василия Иоанновича к знатному боярству вполне приложимы слова профессора Ключевского, что великий князь в полковых росписях не мог назначить верного Хабара Симского вместо неблагонадёжного Горбатого-Шуйского, то есть не мог столкнуть с первых рядов известные фамилии и должен был подчиняться порядку, с которым вступил в борьбу его сын.

К родственникам при малейшем столкновении он относился с обычной суровостью и беспощадностью московских князей, на которую так жаловался противник сына Василия князь Андрей Курбский, называя «издавна кровопийственным» род Калиты. Соперник Василия в престолонаследии, его племянник Димитрий Иоаннович, умер в заключении, в нужде. Братья Василия ненавидели людей, окружавших его, следовательно, и установившийся порядок, — а между тем, по бездетности Василия, эти братья должны были ему наследовать, именно брат его Юрий Близкие к Василию люди должны были опасаться при Юрии потери не только влияния, но даже жизни.