Предшественником Тевтонского ордена считается так называемый «германский госпиталь» в Иерусалиме, организованный для немецкоязычных паломников. Этот госпиталь после падения Святого города был восстановлен герцогом Фридрихом Швабским, но уже совсем в другом месте.

Сначала орден тевтонцев занимал подчинённое положение по отношению к иоаннитам, которые всячески противились тенденциям германских рыцарей к независимости. Однако в 1199 г. папа Иннокентий III утвердил устав Тевтонского ордена, который с тех пор превратился в самостоятельную организацию. Знаком нового сообщества рыцари-монахи избрали чёрный крест и белые плащи, такие же, как и у тамплиеров. Первым гроссмейстером тевтонцев ещё до утверждения статутов стал Генрих Вальпот. Резиденции Немецкого ордена и его владения располагались кроме Святой земли в Германии, Италии, Испании и Греции.

Особые права орденов, прежде всего иоаннитов и тамплиеров, способствовали выделению их из локальных церковных организаций и ставили в независимые условия по отношению к князьям и другим феодалам. Кроме того, ордены не подпадали и под юрисдикцию епископов, имея дело только с курией, и не платили церковных налогов. В орденских церквах службу отправляли священники – члены ордена, которых только у иоаннитов в 1179 г. было уже более 14 тысяч человек. Даже папские предписания, адресованные всей церкви, имели силу для орденов только в том случае, если в них конкретно упоминался тот или другой орден. Созданную ситуацию «рыцари церкви» использовали сполна. Обычным явлением стали конфликты с клиром, начиная от иерусалимского патриарха и епископов и кончая местными священниками. И с властителями возникших здесь христианских государств «борцы за веру» тоже особо не церемонились – по крайней мере, они проводили свою политику, даже будучи частью королевских войск.