Весной 1922 года юный Гейдрих был принят в состав имперского военно-морского флота. На флоте карьера молодого моряка идет успешно: в 1922 году он слушатель военно-морского училища, в 1924 — лейтенант, в 1926 — обер-лейтенант. Еще в 1918 году он вступает в члены «Немецкого национального союза молодежи», в 1920 — в «Немецкий народный союз наступления и обороны», в том же году становится связным в дивизии «Люциус», входящей в добровольческие отряды. В 1921 году вместе с товарищами основывает «Немецкий народный молодежный отряд». После получения звания лейтенанта Гейдриха направляют служить в морскую разведку Балтийского флота, где судьба сводит его с тогдашним капитаном первого ранга Вильгельмом Канарисом. Перед ним — блестящая карьера, но его губит женщина. Он обручен с дочерью одного старшего флотского офицера, но женитьба срывается. Что произошло — покрыто тайной. Есть три версии случившегося: Гейдрих либо соблазнил девушку и отказывался жениться, либо напоил и изнасиловал ее, либо, самое банальное предположение, — он выманивал у девушки деньги. Во всяком случае разразился скандал, состоялся суд чести, и Гейдрих подал в отставку. В 1931 году молодой моряк остается не у дел и продает свои кулаки в штурмовые отряды Ремма, для разгона митингов оппозиционных партий. В это время он вступает в НСДАП; в этом же году возглавляет Кильскую группу партии, правда, довольно малочисленную. Здесь его замечает Генрих Гиммлер. 1 августа 1931 года он присваивает Гейдриху звание штурмфюрера СС. а к осени повышает до штурмбанфюрера СС и переводит в свой штаб в Мюнхене. В июле 1932 года Гиммлер решает организовать службу безопасности и, вспомнив разведывательное прошлое Гейдриха, поручает это ему. Довольный проделанной им работой, Гиммлер в 1933 году назначает Гейдриха своим представителем в Баварской полиции, а в 1934 году ставит во главе центральной службы гестапо. Перебравшись в Берлин, Гейдрих продолжает возглавлять гестапо, оставив за собой и главенство в разведке (СД).