Не только лошади чувствовали себя вольготно на улицах Ричмонда, но и козы со свиньями. На Кэпитол-сквер еще в середине девятнадцатого столетия паслись коровы. Разъезжали почтовые кареты и экипажи с чернокожими ливрейными лакеями и кучерами. У плантаторов дома были просторными, с прохладными верандами и комнатами, где льняные шторы защищали хозяев от нестерпимого зноя. Мужчины сидели в креслах-качалках, курили сигары и жевали местный табак. А рядом теснились хижины рабов, вокруг которых валялись и играли в пыли чернокожие ребятишки. В таком месте трудно избавиться от уныния, если только не пить постоянно вишневый кобблер или мятный джулеп.

Поначалу семейство Алланов остановилось в доме партнера Джона Аллана, которого звали Чарльз Эллис и который, возможно, и убедил Аллана продолжить занятия торговлей и добиваться успеха. Осенью Эдгара По отправили в местный колледж, где он запомнился учителю как «честолюбивый, хотя и не очень прилежный ученик, тем не менее хорошо проявлявший себя в классе». Обращало на себя внимание его чувство собственного достоинства «без кичливости», а также «возбудимость мальчика» и часто «его неизменное желание не уронить себя». Так что порою Эдгар По мог казаться строптивым и своенравным.

В это время он начал писать стихи. Его школьный учитель считал По «прирожденным поэтом», который сочиняет стихи «con amore,

В школе По успешно осваивал классиков, в том числе Овидия, Вергилия и Цицерона. Но отличался и в менее ученых занятиях. По был хорошим пловцом и однажды одолел шесть миль против течения, тогда как учителя и ученики стояли на берегу реки Джеймс и наблюдали за ним.