Чак Беднарик, вездесущий игрок «Филадельфийских Орлов», назвал его сверхчеловеком. Алекс Каррас, великий полузащитник оборонительного плана, выступавший за «Детройтских Львов», сказал: «Чтобы его остановить, нужно было давать каждому игроку защитных линий по топору». Дик Модзелевски, один из самых широкоплечих защитников в широкой обороне «Нью-Йоркских Гигантов», утверждал, что «лучшего фулбека просто не сотворил Господь. Если НФЛ просуществует еще две тысячи лет, второго столь же хорошего фулбека уже не будет. Чтобы повалить Брауна, мне была нужна помощь всей нашей обороны и Сэма Хаффа». Ну а сам Хафф, сделавший карьеру на борьбе с Брауном, как-то раз устало молвил: «Джима Брауна можно остановить, только пристрелив его на выходе из раздевалки».

Однако в 1962 году его победам пришел конец. В самом буквальном смысле слова. Повредив в начале сезона левое запястье, он был вынужден носить мяч в своей разрушительной деснице. И теперь Браун сделался, по крайней мере в собственных глазах, обыкновенным смертным, забегание его составило «всего» 996 ярдов, пронос за пробежку снизился до 4,3, а чемпионство в заносах перешло к Джиму Тейлору – «Упаковщику» из Грин-Бея.

Весь сезон 1962-го превратился в сплошное разочарование, и не только для Дж. Брауна, но и для П. Брауна и «Кливленд Браунз». Пол Браун обменял Бобби Митчелла за драфтовые права на Эрни Дэвиса, который должен был усилить нападение «Бурых». Однако обладателя «Приза Хисмана»

Освободившись от ограничений Пола Брауна, выражавшихся в постоянной смене опекунов и сигналов, Дж. Браун вернул форму в 1963-м, промчавшись по зеленому полю 1863 ярда и заслужив этим еще один чемпионский титул. На следующий год он вновь стал чемпионом, а «Кливленд Браунз» победили в чемпионате НФЛ, опередив «Балтиморских Жеребят», причем Дж. Браун участвовал в тридцати играх при суммарном проносе в 151 ярд. А потом, завоевав свой восьмой чемпионский титул за девять лет, в 1965 году Джим Браун оставил футбол в возрасте двадцати девяти лет, покинув футбольное поле задолго до того, как роль его могла оказаться сыгранной.