В 1867 году Мэри Дойл показалось, что состояние Чарлза улучшается, и Артур ненадолго вернулся домой. Семья жила тогда на Сайенс-Хилл-плейс, 3; на одной стороне узкой тупиковой улочки стояли частные дома, а на другой – многоквартирные, для бедных; в таком доме и поселились Дойлы. «Домовые» и «квартирные» мальчишки регулярно дрались стенка на стенку, и редкая драка обходилась без Артура. «Худощавый и низкорослый, средь мальчишек всегда герой, очень часто с разбитым носом.» Все совпадает, за исключением одного: Артур был крупным ребенком, и кулаки у него уже в самом нежном возрасте были тяжелые. Носам противников доставалось сильно. Принято считать, что свои «нерегулярные части с Бейкер-стрит» Конан Дойл писал, вспоминая именно этот период своей жизни. Может, и так, но на мальчишек из бедных семей он еще насмотрится, когда станет доктором.
В эдинбургской школе преподавали арифметику, немного географии, истории и того, что мы назвали бы природоведением, заставляли выучивать стихи наизусть, иногда давали писать небольшие сочинения. С математикой Артур не поладил с самого начала (именно поэтому, как полагают некоторые изыскатели, Мориарти стал математиком); для будущего архитектора, каким видели его родители, это было очень скверно. Что касается живописи, то каких-либо особых талантов маленький Дойл вроде бы не обнаруживал, хотя рисовал для ребенка очень неплохо. Больше всего он, разумеется, любил читать и глотал книги с такой скоростью, что в городской библиотеке Эдинбурга – так, во всяком случае, гласит семейное предание – был собран специальный совет, на котором решалось, позволительно ли абоненту Дойлу обменивать книги чаще чем три раза на дню. «Я не знаю радости столь полной и самозабвенной, – вспоминал он, – как та, которую испытывает ребенок, урвавший время от уроков и забившийся в угол с книгой, зная, что в ближайший час его никто не потревожит».