Иоанн не унимал злословия, ибо уже скучал излишно строгими нравоучениями своих любимцев и хотел свободы; не мыслил оставить добродетели: желал единственно избавиться от учителей и доказать, что может без них обойтися. Бывали минуты, в которые природная его пылкость изливалась в словах нескромных, в угрозах. Пишут, что скоро по завоевании Казани он, в гневе на одного Воеводу, сказал Вельможам: «теперь уже не боюсь вас!» Но великодушие, оказанное им после болезни, совершенно успокоило сердца. Тринадцать цветущих лет жизни, проведенных в ревностном исполнении святых Царских обязанностей, свидетельствовали, казалось, неизменную верность в любви ко благу. Хотя Государь уже переменился в чувстве к любимцам, но не переменялся заметно в правилах. Благочиние Царствовало в Кремлевском дворце, усердие и смелая откровенность в Думе. Только в делах двусмысленных, где истина или добро не были очевидны, Иоанн любил противоречить советникам. Так было до весны 1560 года.

В сие время холодность Государева к Адашеву и к Сильвестру столь явно обнаружилась, что они увидели необходимость удалиться от Двора. Первый, занимав дотоле важнейшее место в Думе, и всегда употребляемый в переговорах с Европейскими Державами, хотел еще служить Царю иным способом: принял сан Воеводы и поехал в Ливонию; а Сильвестр, от чистого сердца дав Государю благословение, заключился в одном пустынном монастыре. Друзья их осиротели, неприятели восторжествовали; славили мудрость Царя и говорили: «ныне ты уже истинный Самодержец, помазанник Божий, един управляешь землею; открыл свои очи и зришь свободно на все Царство!» Но сверженные любимцы казались им еще страшными. Вопреки известной Государевой немилости, Адашева честили в войске; самые граждане Ливонские изъявляли отменное к нему уважение: все покорялось его уму и добродетели. Не менее и Сильвестр, уже Монах смиренный, блистал добродетелями Христианскими в пустыне: Иноки с удивлением видели в нем пример благочестия, любви, кротости.