В 1935 году Виллигут переезжает из Мюнхена в Берлин вместе с центральным отделением «Аненэрбе». Его влияние на Гиммлера растет не по дням, а по часам. В эти годы он пишет воспоминания, касающиеся его семьи, уточняет тонкости ирминистической религии, составляет всевозможные мантры, календари, астрологические прогнозы… Дел, одним словом, было более чем достаточно. Каждое утро Виллигута ждала под окном служебная машина, которая привозила его обратно домой лишь поздно вечером.
И можно было бы сказать, что жизнь удалась, если б не основательно подорванное здоровье. Преклонный возраст и серьезные нагрузки давали о себе знать. Чтобы держать себя в форме, Виллигут начал принимать сильнодействующие медицинские препараты. Это давало лишь кратковременный эффект, но в тоже время, разрушало организм Виллигута. Постепенно у старика развились тяжелая форма никотиновой зависимости и алкоголизм.
Этим попытались воспользоваться его соперники в рядах СС. Многие сотрудники «Аненэрбе» ревновали Виллигута к Гиммлеру и втайне мечтали занять его место. Поиски компромата, наконец, привели к положительному результату: история с заточением старика в психиатрической клинике, равно как и его старый диагноз, всплыли на поверхность и были торжественно предъявлены Гиммлеру. Для рейхсфюрера СС это был сильнейший удар: как же, ведь его близкий друг и учитель, человек, которому он так доверял, оказался банальным сумасшедшим!