Следующие несколько лет Фишер проводил в нем долгие часы, тренируясь у президента клуба Кармайна Нигро. Расстроенный упрямым сопротивлением собственного сына, не желающего понимать всего очарования игры, Нигро испытывал воодушевление от энтузиазма новичка. Если клуб бывал закрыт, Фишер приставал к матери, чтобы та отвезла его в манхэттенский «Вашингтон-сквер», где игра уравнивала все классы, сюда вместе игроков любых социальных ниш Нью-Йорка, от богатых фондовых брокеров с Уолл-стрита до бездомных пьянчуг. К тревоге Регины, помешательство Фишера на шахматах оставалось прежним, и она решила отвести его в отделение детской психиатрии Бруклинской еврейской больницы. Там мальчика осмотрел доктор Гарольд Клайн и сказал, что не стоит беспокоиться по мелочам. По мере взросления Фишер начал посещать Манхэттен самостоятельно; поздними вечерами мать приезжала его забирать.

Гений Фишера проявился не сразу. Он был талантлив, обладал глубоким интуитивным пониманием шахмат, хорошо проявлял себя в клубных партиях и турнирах, но не блистал. До одиннадцати лет Фишер, по его собственным словам, был «просто хорош». В 1955 году он начал посещать Манхэттенский шахматный клуб и быстро стал расти. Этот клуб был для влиятельных лиц; по словам американского игрока Джима Шервина, атмосфера в нем была «довольно спокойной, приходили приличные белые». Год спустя Фишер вошёл в Хоторнский клуб, неформальное объединение шахматных мастеров, минимум дважды в неделю собиравшихся в доме Джека Коллинза. Прикованный к инвалидному креслу, Коллинз жил со своей сестрой Этель, служившей ему сиделкой, и воспитал несколько многообещающих игроков, в том числе будущих гроссмейстеров Уильяма Ломбарда и Роберта Бирна.