Но все эти занятия были только временным отдыхом от его всепоглощающей страсти. Отсутствие у Фишера воспитания казалось поразительным. Если с ним заговаривали, он часто не утруждал себя даже повернуть в ответ голову. Бывший президент Шахматной федерации США Дон Шульц вспоминает, как однажды обедал с Фишером и другими игроками. Если разговор уходил от шахмат, «Фишер тут же склонялся над краем стола, обращаясь к своим карманным шахматам». Если же он не выказывал равнодушия к происходившему, то часто бывал подозрителен. Один журналист писал, что Фишер, наверное, даже старого друга приветствует так, словно тот явился с повесткой в суд.
Он славился своей бесчувственностью, проявляющейся в поведении на турнирах. Его опоздание могло нарушить душевное равновесие противника, как это случилось с Решевским в Сусе, но он никогда не извинялся. Единственным объектом, к которому Фишер испытывал влечение, были шахматы. «Он сопереживал позиции с такой силой, — пишет его биограф Фрэнк Брэйди, — что можно было почувствовать, как любой недочёт в игре, например отступившая пешка или неудачный ход конем, причиняет ему почти физическую и совершенно точно психическую боль. Если бы он мог, то превратился бы в пешку и сам бы прошёл до нужной клетки. В такие моменты Фишер становился самими шахматами».
Он обладал неистощимой энергией для шахматной работы. Когда в 1959 году датчанин Бент Ларсен, бывший на восемь лет старше Фишера, помогал ему в качестве секунданта готовиться к партиям на турнире претендентов в Югославии, шестнадцатилетний подросток допоздна не отпускал его, настаивая, что всё свободное время, включая вечера, необходимо заниматься дебютами.