"Что твои литераторы, ни на одного из них нельзя положиться", - с раздражением сказал он. Ковалевский, по свидетельству современника, "просил назначить хоть из придворных, но из людей, по крайней мере известных любовью к словесности: кн. Николая Орлова, графа Алексея Конст. Толстого и флигель-адъютанта Ник.Як.Ростовцева, и получил самый резкий отказ. Таким образом литература поступила под ведомство III Отделения" (письмо П.В.Долгорукова к Н.В.Путяте). Этот эпизод хорошо характеризует восприятие личности Толстого в высших сферах.

В 60-е годы он подчеркнуто держался в стороне от литературной жизни, встречаясь и переписываясь лишь с немногими писателями: Гончаровым, К.К.Павловой, Фетом, Маркевичем. В связи с обострением общественной борьбы поэт, подобно многим своим современникам - тому же Фету, Льву Толстому, все чаще противопоставлял актуальным социально-политическим вопросам и вообще истории вечные начала стихийной жизни природы. "Петухи поют так, будто они обязаны по контракту с неустойкой, - писал он Маркевичу в 1871 году ...Зажглись огоньки в деревне, которую видно по ту сторону озера. Все это хорошо, это я люблю, я мог бы так прожить всю жизнь... Черт побери и Наполеона III и даже Наполеона I! Если Париж стоит обедни, то Красный Рог со своими лесами и медведями стоит всех Наполеонов... Я бы легко согласился не знать о том, что творится в нашем seculum [столетии]... Остается истинное, вечное, абсолютное, не зависящее ни от какого столетия, ни от какого веяния, ни от каких fashion [мод], - и вот этому-то я всецело отдаюсь".

Печатался Толстой преимущественно в реакционном журнале М.Н.Каткова "Русский вестник", а с конца 60-х годов - и в либеральном "Вестнике Европы" М.М.Стасюлевича, несмотря на их враждебные отношения и постоянную полемику. Но ни на один из них Толстой не смотрел как на журнал, близкий ему по своим взглядам и симпатиям.