В июне 1932 года фон Папен вёл в Париже переговоры относительно создания военного союза между Францией, Германией и Польшей, направленного против СССР.

Его кратковременное пребывание на посту второго лица в Германии означало переход от германской псевдодемократии к откровенно тоталитарному режиму Гитлера. Поведение Папена оттолкнуло от него даже консерваторов, не говоря уже о левых. Поддерживали его лишь нацисты. Понимая, что под их возрастающим нажимом ему не устоять, фон Папен посоветовал Гинденбургу сделать Гитлера своим преемником. Совершив этот бескровный государственный переворот, Папен облегчил приход Гитлера к власти.

Непродолжительное время Папен пробыл на посту вице-канцлера, успев посодействовать уничтожению германского парламента и Веймарской конституции, «творения дьяволов и евреев». Он пытался «взбрыкивать», произнеся знаменитую речь 17 июня 1934 года против фашистского режима. Но вскоре смирился.

Он мешал гитлеровцам, и его надо было обезвредить. Во время «кровавой чистки» («ночь длинных ножей» 30 июня 1934 года) Гиммлер приказал ликвидировать Папена, но Гитлер, всё ещё считавший его полезным, в самый последний момент отменил этот приказ. Были уничтожены лишь ближайшие сотрудники Папена: его секретаря Герберта фон Бозе и руководителя организации «Католическое действие» Эриха Клаузенера убили в их рабочих кабинетах, а личного консультанта Эдуарда Юнга — в тюрьме.

Нацистские лидеры решили избавиться от Папена другим способом — выслать его из Германии. Он был назначен послом в Австрию. В Вене он ещё раз доказал преданность Гитлеру: ему приказали подготовить аншлюс. В июле 1934 года он участвовал в заговоре против канцлера Дольфуса, который был убит. Но путч провалился, и фон Папен исчез из Вены. Он поселился в своём саарском имении, находившемся достаточно близко от французской границы, чтобы можно было бежать, если бы Гиммлер ещё раз решил ликвидировать его.