Личные отношения с вступившим в 1855 году на трон Александром II были довольно откровенными, и А.К.Толстой нередко говорил царю-"освободителю" горькую правду. Он тяготился пожалованным ему титулом флигель-адъютанта, обязывавшим часто бывать во дворце на церемониалах, и попытался при удобном случае сложить с себя тяжелую для него службу. В письме к царю он докладывал в 1861 году: «…служба, какова бы она ни была, глубоко противна моей натуре… Путь, указанный мне… — мое литературное дарование, и всякий иной путь для меня невозможен». Толстой обладал благородным независимым характером. Александр II никогда не считал его вполне своим человеком и все больше ему не доверял. Толстой хлопотал за смягчение участи сосланного в солдаты Тараса Шевченко, за славянофила Ивана Аксакова, когда ему запретили издавать газету «День», за Тургенева, обвинявшегося в сношениях с политическими эмигрантами Герценом и Огаревым. А в 1864 году, когда Александр II учинил позорную «гражданскую казнь» над Чернышевским перед ссылкой в Сибирь, на вопрос царя при встрече, что делается в литературе, Толстой ответил: «…русская литература надела траур по поводу несправедливого осуждения Чернышевского». Царь не дал Толстому договорить: «Прошу тебя, Толстой, никогда не напоминать мне о Чернышевском».

Но отсюда неверно было бы делать вывод, что Толстой находился в какой-либо серьезной оппозиции к самодержавию. Как честный человек, он был противником утеснения писателей, фрондировал, ибо царский чиновничий бюрократизм душил все свежие силы России. На многие порядки деспотизма он насмотрелся еще при Николае I. Знал, что реакция даже создала специальную литературу «официальной народности». В 50-х годах вместе со своими двоюродными братьями Владимиром и Алексеем Жемчужниковыми он создал остроумную литературную мистификацию, поэта Козьму Пруткова, в которой высмеял повадки чиновника, уверовавшего в свое литературное призвание.