Уже учась в школе, Артур начал сочинять свою вторую историю: записать текст на бумаге не нашлось времени, благодаря чему роман сделался бесконечным. Никаких рыцарей, кстати сказать, там не было: прерии, океаны, альбатросы, индейцы, буйволы, отравленные стрелы и охотничьи карабины. Известно, что о литературных фантазиях маленького Артура с одобрением отзывался парижский дедушка Майкл Конан, но нет сведений о том, как к ним относился родной отец. Может создаться впечатление, что Чарлз с Артуром вообще не разговаривал, и, возможно, это впечатление будет не очень далеко от истины: в «Воспоминаниях и приключениях» то и дело приводятся диалоги с матерью, но ни разу – с отцом. Чарлз Дойл «витал в облаках и плохо знал реальную жизнь», – мягко выразится Артур Конан Дойл, будучи уже сам отцом и дедушкой. Все его высказывания об отце носят такой же мягкий и обтекаемый характер – отчасти по причине того, что мы бы назвали «викторианским ханжеством», а он сам – заботой о семейной чести; отчасти, вероятно, потому, что вместе с отцом он жил лишь до четырех лет и о том, каким агрессивным и опасным тот мог быть, попросту ничего не знал.

Почему Мэри Дойл не ушла от мужа? Она не могла этого сделать – не позволяли британские законы о разводе (реформированию которых Артур Дойл впоследствии посвятит двадцать лет своей жизни). Семейная жизнь продолжалась, и дети рождались почти каждый год: в 1866-м – дочь Кэролайн Мэри Бартон (домашнее имя – Лотти), а в 1868-м – дочь Констанция Амелия Моника (Конни).

Была в семье и потеря: зимой 1868-го умер Джон Дойл. Это событие Чарлз пережил очень тяжело.