Несмотря на давнее — с детских лет — знакомство с поэтом, Александр II не считал его вполне своим человеком. Еще в 1858 году, когда учреждался негласный комитет по делам печати, он отверг предложение министра народного просвещения Е. П. Ковалевского включить в него писателей — Тютчева, Тургенева и др. «Что твои литераторы, ни на одного из них нельзя положиться», — с раздражением сказал он. Ковалевский, по свидетельству современника, «просил назначить хоть из придворных, но из людей, по крайней мере известных любовью к словесности: кн. Николая Орлова, графа Алексея Конст. Толстого и флигель-адъютанта Ник. Як. Ростовцева, и получил самый резкий отказ. Таким образом литература поступила под ведомство III Отделения» (письмо П. В. Долгорукова к Н. В. Путяте). Этот эпизод хорошо характеризует восприятие личности Толстого в высших сферах.
В 60-е годы он подчеркнуто держался в стороне от литературной жизни, встречаясь и переписываясь лишь с немногими писателями: Гончаровым, К. К. Павловой, Фетом, Маркевичем. В связи с обострением общественной борьбы поэт, подобно многим своим современникам — тому же Фету, Льву Толстому, все чаще противопоставлял актуальным социально-политическим вопросам и вообще истории вечные начала стихийной жизни природы. «Петухи поют так, будто они обязаны по контракту с неустойкой, — писал он Маркевичу в 1871 году — …Зажглись огоньки в деревне, которую видно по ту сторону озера. Все это — хорошо, это я люблю, я мог бы так прожить всю жизнь… Черт побери и Наполеона III и даже Наполеона I! Если Париж стоит обедни, то Красный Рог со своими лесами и медведями стоит всех Наполеонов… Я бы легко согласился не знать о том, что творится в нашем seculum [столетии]… Остается истинное, вечное, абсолютное, не зависящее ни от какого столетия, ни от какого веяния, ни от каких fashion [мод], - и вот этому-то я всецело отдаюсь».
Печатался Толстой преимущественно в реакционном журнале М. Н. Каткова «Русский вестник», а с конца 60-х годов — и в либеральном «Вестнике Европы» М. М. Стасюлевича, несмотря на их враждебные отношения и постоянную полемику. Но ни на один из них Толстой не смотрел как на журнал, близкий ему по своим взглядам и симпатиям.