Вместе с тем цензорская деятельность Гончарова не может быть оценена однозначно. Он настоял на публикации запрещенных или бывших на подозрении цензуры произведений М.Ю.Лермонтова, Н.А.Некрасова, И.С.Тургенева, Н.Г.Помяловского, Ф.М.Достоевского, А.Ф.Писемского и др. Известны, однако, и его жесткие, в русле правительственной политики, отзывы о направлении "Современника", который "соблазнительно действовал на молодое поколение", или "Русского слова", с его "рвением провести в публику запретные плоды... жалких и несостоятельных доктрин материализма, социализма и коммунизма". С декабря 1857 по весну 1858 Гончаров, сохраняя должность цензора, преподавал русскую словесность цесаревичу Николаю Александровичу. В декабре 1859 г. он избран членом Литературного фонда, с 1860 г. - член-корреспондентом Академии Наук по отделению языка и словесности.

В конце 1850-х Гончаров поселился на Моховой ул., в доме М. М. Устинова (ныне д. 3), где прожил до конца дней. В эти годы складывается легенда о писателе, приписывающая ему черты Обломова. Повод к этому отчасти дал сам Гончаров, выступавший под маской лени, апатии, безучастия и во "Фрегате "Паллада"", и в эпилоге "Обломова", и в очерке "Литературный вечер" (пожилой беллетрист Скудельников). Однако, по свидетельству близко знавшего Гончарова А.Ф.Кони, под его "спокойным обличьем... укрывалась от нескромных или назойливо-любопытных глаз тревожная душа. Главных свойств Обломова задумчивой лени и ленивого безделья - в Иване Александровиче не было и следа. Весь зрелый период своей жизни он был большим тружеником". Подчеркнутая отстраненность, безучастность повествователя - сознательный прием в прозе Гончарова, знак объективной авторской позиции, независимой от его симпатий и антипатий.

Скрытой от наблюдателей осталась и душевная, сердечная жизнь писателя. В 1855-56 гг. Гончаров был серьезно увлечен Е. В. Толстой, его переживания отразились в своеобразном романе в письмах, адресованных ей.