Помимо прочего, Грейфе состоял в студенческом подразделении «Стального шлема». Поскольку эта организация после прихода Гитлера к власти была включена в Штурмовые отряды НСДАП, Грейфе также автоматически стал «нацистом», хотя вплоть до этого момента не скрывал, что считает коричневорубашечников «плебеями» (формально в нацистскую партию он вступил лишь в 1937 г.).

Как известно, примерно такое же отношение к подчиненным начальника штаба CA Эрнста Рема культивировал и рейхсфюрер СС Генрих Гиммлер, грезящий о создании элитарного «ордена нордических мужей». Поэтому вполне логично, что когда благодаря протекции одного из родственников для Грейфе открылась перспектива получить должность в Службе безопасности СС, он не упустил эту возможность. 21 декабря 1933 г. Хайнц вступил в СС, получив билет № 107 213, и уже в 1934 г. откровенно заявлял, что принадлежит СД «душой и телом» («mit Leib und Seele»). В обязанности Грейфе в тот момент входил мониторинг общественных настроений в Саксонии.

В августе 1934 г. Грейфе сдал государственный экзамен на чин асессора, а в конце 1935 г. был переведен в гестапо на должность начальника отделения тайной государственной полиции в Киле. За отличные показатели он был поощрен лично Р. Гейдрихом, и в октябре 1937 г. — повышен в должности до начальника отделения гестапо и СД в Тильзите (ныне — г. Советск Калининградской области. — Прим. авт.).

Грейфе удалось наладить тесные контакты с представителями литовской разведки, а после присоединения Литвы к СССР — с антикоммунистическим подпольем, и создать разветвленную агентурную сеть

Как известно, многие коллеги Грейфе по РСХА характеризовались примерно в аналогичных выражениях.