После смерти дочери Марии в 1827 году родители переехали почему-то на окраину, в Замоскворечье. Возможно, чтобы быть подальше от мест, пробуждающих тяжелые воспоминания. А может быть, их тянуло на свежий воздух, в мир садов и пустырей. Они сняли часть дома у штабс-капитанши О.Д. Ешевской, вдовы с двумя дочерьми. Дом вместе с подобным соседним одиноко стоял в Малом Спасоболвановском переулке; оба они не сохранились, находились на месте современного административного корпуса кондитерской фабрики «Рот-Фронт» (дом № 13/15; переулок теперь называется 2-м Новокузнецким). Напротив дома, на противоположной стороне переулка (дом № 10) находится церковь Спаса Преображения на Болвановке, давшая названия окрестным переулкам. В советские годы она, как и церковь Иоанна Богослова, была в разрушенном состоянии, ныне замечательно восстановлена во всей былой красе.

На купеческой и разночинной окраине Москвы два дворянских дома выглядели инородцами. Вот как описывает новое жилье родителей Ап. Григорьев: «Как теперь видится мне мрачный и ветхий дом с мезонином, полиняло-желтого цвета, с неизбежными алебастровыми украшениями на фасаде и чуть ли даже не с какими-то зверями на плачевно-старых воротах, дом с явными претензиями, дом с дворянской амбицией». А хозяин второго дома, «племянник вдовы, жил где-то в деревне, и дом долго стоял опустелый, только на мезонине его в таинственном заключении жила какая-то его воспитанница. И об этом мезонине, и об этой заключеннице, и о самом хозяине пустого дома, развратнике по сказаниям и фармазоне, ходили самые странные слухи».

Так Григорьев уже в раннем детстве столкнулся с темными и заманчивыми слухами и легендами, да он и сам по своей натуре страстно тянулся к таким слухам и легендам. С другой стороны, окраина, за которой располагались заводы и фабрики, впервые показала мальчику тогдашний рабочий люд.