Киёмори из дома Хэйкэ родился в 1118 году. В то время его отцу Тадамори было двадцать три года. Тадамори прозвали Косоглазым, издевались над тем, что он беден, над ним смеялись простолюдины, а другие представители дома Хэйкэ презирали, но это не всегда было так. Отец Тадамори служил трем императорам подряд, и они высоко его ценили как проницательного и верного слугу, поэтому Тадамори вырос среди дворцового великолепия. Когда воинов дома Хэйкэ призвали на службу в императорскую стражу и они постепенно превзошли численностью воинов из дома Гэндзи, Тадамори и его отец стали важными фигурами. Император Сиракава поручил им удалить от двора воинов из дома Гэндзи, противопоставил их могущественному вооруженному монашеству и устроил отца с сыном при дворе, чтобы ограничить влияние придворных из дома Фудзивара.

После своего отречения, когда он стал называться прежним императором Сиракава, пожилой правитель принял постриг и удалился в Приют отшельника. Там он создал независимую от центральной администрацию, власть настоятелей монастырей, которые не только стали соперничать с правившим властелином, но и еще сильнее обострили конфликт между домами Гэндзи и Хэйкэ.

После смерти отца Тадамори занял его должность, и прежний император оказал скромному юноше еще большее доверие, назначив своим личным телохранителем. На время поездок отрекшегося правителя из дворца по Западной Третьей дороге в Гион, на другой берег реки Камо, он всегда вызывал для сопровождения Тадамори и его слугу Мокуносукэ. Эти тайные выезды по ночам он предпринимал, чтобы навестить наложницу, ведь, несмотря на свой солидный возраст — ему было далеко за шестьдесят, — прежний император славился необычайной энергичностью, и его влюбчивость соответствовала бодрости, с которой он вел дела Приюта отшельника.

То, что прежний император содержал наложницу, не являлось чем-то необычным. Напротив, среди знати укоренилась подобная практика, и ни у кого это не встречало осуждения.