Двоих малых сирот приютили чужие люди. Эдгар По был усыновлен богатым шотландским купцом Джоном Аллэном, поселившимся в Виргинии; Розали, младший ребенок, другим шотландцем Мэккензи, а старший ребенок, Вилльям, был взят дедом, генералом По. Сохранился рассказ о том, что, когда мистер Аллэн и мистер Мэккензи, услышав, что любимица публики, мистрис По, тяжело больна, пришли к ней, они нашли ее в нищенском помещении на соломенной постели, в доме не было ни монет, ни пищи, ни дров, вся одежда была заложена или продана, дети были полуодетые и полуголодные, а младший ребенок был в оцепенении, ибо старуха, за ним присматривавшая, чтобы успокоить его и придать ему силы, накормила его хлебом, намоченным в джине. Устрашающая картина, в которой для Эдгара По было много предвещательного.

Через две недели после смерти мистрис По театр, в котором она играла, сгорел в Святочный вечер, и во время этого страшного пожара погибло шестьдесят человек. Об этом пожаре знали повсюду в Соединенных Штатах и много лет спустя о нем рассказывали. Упорное предание повествовало также, что в этот вечер оба По сгорели в театре заживо.

Маленький Эдгар уже в два года обращал на себя внимание живостью и умом, которые светились в его детских глазах. Это жена Аллэна, пленившись ребенком, убедила своего мужа усыновить его, ибо у них, несмотря на несколько лёт супружества, детей не было. Эдгар вошел в зажиточный, и даже богатый, дом, в котором приемная мать любила его до самой своей смерти, а приемный отец гордился своим приемышем, преждевременно являвшим различные таланты, — хотя временами был скор на руку, и, будучи вспыльчив, порою сурово наказывал мальчика. К возрасту пяти-шести лет Эдгар умел читать, писать, рисовать, писать красками и декламировать стихи на забаву обедающих гостей; на забаву же их, наученный мистером Аллэном быть приятным для гостей, он становился на стул, поднимал стакан с разбавленным вином и, делая самые жеманные ужимки, провозглашал тост за всех, грациозно прихлебывал вино и с шаловливым смехом опять садился на свое место, при общем одобрении пировавших.