Мать его Татьяна Андреевна не получила никакого образования, читала еле-еле, по складам, но была хорошей хозяйкой, любящей матерью, по утрам расчесывающей волосы Полошеньке (так он именовался родителями) — даже когда он стал студентом. К сожалению, лет двадцать, до самой смерти в 1854 году ее мучила какая-то странная болезнь по нескольку дней в месяц: «глаза, в нормальное время умные и ясные, становились мутны и дики, желтые пятна выступали на нежном лице, появлялась на тонких губах зловещая улыбка». Но все же именно мать была главной в доме, на ней держалось хозяйство, добродушные и безвольные отец и сын беспрекословно ей подчинялись.
Не имея своего постоянного угла, семья Григорьевых несколько лет кочевала по Москве. Началась совместная жизнь родителей Аполлона с центра города. «Девица» Татьяна Андреевна проживала в доме вдовы А.С. Щеколдиной, который не сохранился; он стоял на углу Большого Палашевского переулка, на месте нынешнего дома № 2, и переулка Большого Козихинского. Именно в этом доме родился Аполлон. Крестили его в церкви Иоанна Богослова, расположенной между Тверским бульваром и Большой Бронной, как бы в продолжении Богословского переулка; в советские годы церковь была в ужасном состоянии, полуразрушена; ныне она восстановлена, приятно сияет новизной. По случайному стечению событий в этой церкви за 10 лет до Аполлона крестили А.И. Герцена. Крестной матерью Аполлона стала хозяйка дома А.С. Щеколдина, а крестным отцом – «квартальный надзиратель Гавриил Михайлов Ильинский».
В конце 1823-го или в начале 1824 года, возможно, из-за смерти сына Николая, родители перебрались в дом купца-раскольника И. И. Казина (Ап. Григорьев писал «Козин»), в большой двухэтажный дом, сдававшийся жильцам: кроме Григорьевых в нем жили еще чуть ли не 30 человек. Он и ныне существует (Малый Палашевский пер., 6) — почти радом с Тверской. Отсюда родители водили трехлетнего Аполлона смотреть процессию с гробом Александра I, следующую из Таганрога в Петербург, — Григорьев писал, что помнит это событие как бы «сквозь сон».