Вскоре после взятия Казани и присоединения Астрахани к Московскому государству, ближайшие советники царя, Сильвестр и Адашев, возгордились и стали вмешиваться во все распоряжения Иоанна – даже в семейные его дела. Это постоянно порождало ссоры с братьями царицы, боярами Романовыми и даже с самой царицей. Как бы в довершение этих неприятных отношений, которые царь сносил весьма терпеливо, наступило еще новое бедствие. Царь заболел, оказался при смерти, задумал писать духовное завещание и потребовал от своих родственников и бояр, чтобы они присягнули его малолетнему сыну. Но бояре стали шуметь и спорить, кричали, что не хотят после смерти царя повиноваться боярам Романовым. И больной царь видел, что Сильвестр также держит в этом деле сторону бояр . Оправившись от тяжкой болезни, Иоанн отдалил от себя Сильвестра и Адашева, а вскоре после того его самого постигло новое горе.

В 1560 году скончалась кроткая и добродетельная царица Анастасия, которая умела сдерживать пылкий и жестокий нрав Иоанна. Иоанн долго оплакивал любимую жену, тосковал по ней, а затем стал искать развлечений в шумных пирах и забавах, недостойных его сана. Это оттолкнуло от него лучшую часть бояр и придворных, которые стали относиться неодобрительно к поведению царя. Льстецы и угодники, окружавшие царя, постарались ради собственной выгоды настроить царя против его порицателей. Он поспешил удалить их от двора; многие из них подверглись опалам и ссылкам, иные были даже казнены. Напуганные этими незаслуженными опалами и казнями, некоторые из бояр стали помышлять о бегстве из Москвы в Литву.