Большой интерес публики вызвал его бой в январе 1849 года с Янки Сулливаном, талантливым американским спортсменом, прославившимся не только в США, но и в Англии. Хайер выиграл эту встречу в шестнадцатом раунде. В этом бою кроме титула чемпиона впервые разыгрывался очень крупный по тем временам денежный приз в 10 тысяч долларов. Озарённый лучами славы, Том Хайер заявил о своём уходе из бокса. А титул чемпиона Америки перешёл к Янки Сулливану, которому в то время было уже 45 лет.
12 октября 1853 года, отстаивая своё звание, он встретился с Джоном Морриси. Это был человек, не брезговавший ничем, когда речь шла о его интересах. Он прибыл в Америку из Ирландии с целой группой соотечественников, которых привлекало золото Калифорнии. Авантюрист по натуре, Морриси решил испытать судьбу и на боксёрском ринге, хотя мастерство Сулливана было значительно выше.
Через 36 раундов у Морриси не осталось никаких надежд на завоевание чемпионского титула. На него, сообщали очевидцы, было жалко смотреть. В это время группа хулиганов — товарищей Морриси — собралась около угла Сулливана и начала оскорблять его самым омерзительным образом. Грубая брань и угрозы привели Янки в бешенство, он перестал владеть собой. В перерыве, оставив избитого Морриси на ринге, он перепрыгнул через канаты и принялся за молодых хулиганов. Под страшными ударами трещали носы и вылетали зубы. Тем временем рефери, согласно правилам, по истечении перерыва вызвал боксёров на середину ринга для продолжения боя. Но пылкий Сулливан забыл о правилах, полностью поглощённый боем за рингом. Арбитр, недолго думая, объявил победу Морриси и быстро исчез среди публики.