В 1922 году две женщны, часто бывавшие в доме Хаарманна, увидели однажды неподвижно лежащего на его кровати молодого человека. Неподвижность и поза этого человека насторожили. Хаарманн объяснил, что "юноша просто спит" и поспешил выпроводить женщин из дома.

На следующий день женщины, зайдя к Хаарманну, обнаружили на стуле рядом с кроватью пиджак и брюки юноши, хотя Хаарманн утверждал, что гость уехал. Кроме этого, на кухне они увидели горшок с вареным мясом, подозрительного вида. В тот же день женщины рассказали в полицейском управлении о своих подозрениях.

Стоит отметить, что полиция отреагировала весьма оперативно и прибыла на квартиру Хаарманна с обыском. На вопрос о молодом человеке Хаарманн спокойно ответил, что тот попросился на ночлег и днем ушел, оставив в качестве платы за постой свой костюм. Хаарманн же отдал ему свои старые брюки и рубашку. Мясо в горшке он назвал обыкновенной свининой, и эксперт, исследовавший его, подтвердил это. Полиция и в тот раз ушла ни с чем.

После обнаружения черепов Хаарманн вновь попал в поле зрения полиции, но с его арестом спешить не стали. За ним установили негласное наблюдение, для чего вызвали из другого города двух агентов. Но и это скрытое наблюдение не помогло: Хаарманн вел себя на редкость благопристойно. Казалось, что ему удастся благополучно выйти из сложной ситуации. Но тут произошло неожиданное.

Видимо, уверенность Хаарманна в собственной неуловимости настолько укоренилась в нем, что однажды он просто утратил всякую бдительность и осторожность. В один из июньских дней 1924 года он познакомился с неким юношей по фамилии Фромме, который сбежал из Берлина от своих родителей и теперь скитался по Германии. Хаарманн предложил ему пожить некоторое время у него, бездомный юноша с радостью согласился. Однако он не знал, какие услуги ему придется оказывать хозяину дома за этот приют. Тот же в первую их совместную ночь изнасиловал мальчишку.