В одном из писем По подсчитал свои университетские расходы, включая жилье и обучение, оценив их в триста пятьдесят долларов в год. Аллан же отправил его в Шарлоттсвиль, дав всего сто десять долларов. В результате По смог записаться лишь в два из трех классов, открывавших ему свои двери, правда сэкономив на этом пятнадцать долларов. Конечно же были и денежные посылки, но их никогда не хватало на оплату счетов. Тем более их недоставало для покрытия карточных долгов, и, согласно жалобам По, «на него смотрели, как на попрошайку». Никаких явных причин так жаться у Аллана не было. Всего лишь годом раньше он унаследовал довольно большое земельное владение по завещанию богатого шотландского родственника, который тоже эмигрировал в Америку.

Должно быть, к своему приемному сыну Аллан испытывал противоречивые чувства. Позднее, по свидетельству друга По, поэт сам характеризовал своего приемного отца как человека грубого и жестокого, признавая тем не менее, что временами он баловал сына, проявляя щедрость, хотя обычно бывал прижимист и скуп. Похоже, что с годами Эдгар вызывал у Аллана все большее негодование: он начинал видеться ему неблагодарным наглецом. В свою очередь По предполагал, что когда-нибудь богатства Аллана достанутся ему. И это было самым необоснованным предположением из всех возможных.

Когда в конце 1826 года По вернулся в Ричмонд, Аллан отказался финансировать его дальнейшее обучение. Несмотря на настойчивые письма кредиторов юного По, приемный отец больше не хотел оплачивать его долги, которые приближались к двум тысячам долларов. По рассчитывал проучиться в университете два года. Степени (в современном смысле этого слова) он не получил бы, но имел бы официальный документ о том, что закончил слушание ряда курсов. По отличала неуемная тяга к чтению, однако мир академического образования теперь для него закрывался. В позднейшем письме По упрекает Аллана в том, что «под влиянием минутного каприза» тот разрушил его надежды. Последовавшее возвращение домой оказалось горьким и по другой причине: По стало известно, что его письма к Эльмире перехватывались ее отцом и что она, по-видимому, собирается замуж за другого. Между Алланом и По участились стычки и ожесточенные ссоры. Следы былой любви между приемным отцом и его сыном окончательно исчезли.