В 1802—1806 годах он обучался в Благородном пансионе при Московском университете, а потом уже, по-видимому, реально начал служить, поступив в Правительствующий Сенат, получил самый низший, 14-го класса чин коллежского регистратора, а затем стал подниматься по чиновничьим ступенькам — в 1816 году дослужился до титулярного советника. У него уже выработалась дворянская, как сейчас говорят, ментальность: презирал духовное сословие, забыв, что сам из него происходил, любил блеснуть французским языком, сочинял в кругу близких комедии, по характеру был ироничным и добродушным.

Возможно, жизнь Александра Ивановича потекла бы по обычному чиновничье-дворянскому руслу, если бы не родовая страстная натура. Он влюбился в дочь семейного кучера (мы до сих пор не знаем точно, крепостного или вольноотпущенного; в ведомости о крещении родившегося Аполлона мать именуется «мещанской девицей»; но документам, связанным с семьей Григорьевых, не всегда можно верить: административные знакомства Александра Ивановича могли помочь утаить крепостное состояние матери). Родители решительно воспротивились этой страсти. Возможно, речь должна идти об одной матери Александра Ивановича, так как отца, кажется, уже не было в живых; Аполлон, со слов родителей, считал, что дед умер за год до его рождения; однако внук Аполлона Владимир Александрович предполагал, что деда мог хватить смертельный удар, когда он увидел, как далеко зашли молодые. Казалось бы, что стоило ему вспомнить свою молодость: ведь попович Иван Григорьевич женился на вольноотпущенной Марине Николаевне! Нет, что дозволено Юпитеру, не положено быку. Дворянскому (теперь уже) сыну невозможно жениться на бывшей крепостной. Александр Иванович сильно запил, это стоило ему потери престижного места в Сенате. В формулярном списке об этом периоде сказано деликатно: «В отставке был с 9-го декабря 1818 г. по 16 число февраля 1822 г.». Однако любовь зашла далеко, «мещанская девица» Татьяна Андреевна забеременела, и 16 июля 1822 года появился на свет Аполлон с тогдашним клеймом «незаконнорожденного».