Всё же до середины XII века военные-буси и их предводители — Тайра и Минамото — ещё находились в подчинённом по отношению к старым аристократическим родам положении. Например, в «Повести о доме Тайра» монах Сайко, сам в прошлом военный, обличая Тайра-но Киёмори, говорит ему: «Это тебя, сына начальника сыска, до четырнадцати лет ко двору и близко не подпускали; это ты прислуживал покойному вельможе Касэю — не тебя ли дразнили уличные мальчишки Верзилой Тайра, когда в гэта на высоких подставках

Взошедший на трон в 1072 г. император Сиракава в 1086 г. уступил императорский титул императору Хорикава.

Однако же, сложив с себя ритуальные обязанности императора, Сиракава не отстранился от власти, а наоборот, лишь обрёл больше возможностей влиять на важнейшие политические дела страны, и определял государственную политику до самой своей смерти в 1129 г. Так появилась система «инсэй» — правление бывших императоров, при которой в столице было два центра власти — двор правящего императора, при котором по традиции главные должности распределялись между представителями Северной ветви рода Фудзивара, и двор старшего экс-императора, где назначения происходили по его желанию. Эти две власти не всегда были единодушны, и противоречия между ними привели к конфликтам 1156 и 1159 гг. — так называемым смутам годов Хогэн (Хогэн-но ран) и Хэйдзи (Хэйдзи-но ран). Что же случилось?

После смерти Сиракава в 1129 г. экс-император Тоба занял его место «правящего» экс-императора, и в этом качестве определял преемственность престолонаследования до 1156 г. Сместив своего первого сына Сутоку, носившего титул императора с 1123 г., в 1141 г. он передал титул своему девятому сыну от любимой наложницы Фудзивара-но Токуси (1117–1160, тж. императрица Бифукумонъин) — трёхлетнему императору Коноэ. Вот как описывает эти события «Повесть о смуте годов Хогэн»: