Родители, мечтавшие о том, чтобы сын их «вышел в люди», стал священником, посылают его по окончании училища в Тамбовскую духовную семинарию. Семинария эта, как и все прочие, была типичной «бурсой», в которой царили муштра, бессмысленная зубрежка богословских «наук», взяточничество и фискальство; чтение светской литературы было здесь строжайше запрещено. Однако именно в семинарские годы Левитов знакомится с «мучительной прелестью» Пушкина и «мрачно-величавым унынием» Лермонтова, с «великими тайнами горького гоголевского смеха» и «громом уст… Белинского». Он и сам пытается в эти годы сочинить «критики на общество».

Семинарское начальство не могло простить своему воспитаннику ни любви к светскому чтению, ни тем более — страсти к «сочинительству», И когда однажды ночью инспектор семинарии застал Левитова читающим своим товарищам «Мертвые души» Гоголя, будущий писатель был подвергнут публичной экзекуции, глубоко его потрясшей. По свидетельству М. Горького, Левитов рассказывал Н. Е. Каронину-Петропавловскому, что у него «выпороли душу из тела» и что живет он «как будто чужой сморщенной душой».

Оправившись после нервной горячки, продолжавшейся более месяца, Левитов решает оставить семинарию. Вопреки воле отца, без каких бы то ни было средств он вместе со своим товарищем, Соколовым, отправляется в 1855 году пешком в Москву, в университет, учиться, «для того, — как писал он в одном из своих рассказов позднее, — чтобы после отдать кровь… и высушить мозг… над постоянной и неуклонной думой о пользе родного бедного края» («Лирические воспоминания Ивана Сизова»).

Отшагав пешком более пятисот верст и убедившись в том, что в Московском университете вакансий мало и надежды получить стипендию нет, «несокрушимые плебеи» отправляются пешком же в Петербург и поступают в Медико-хирургическую академию.

Несмотря на полуголодное существование, письма молодого студента к родным полны бодрости, задорного юмора, веры в лучшее будущее. Не удивительно, однако, что в конце концов Левитов заболел, а так как это случилось перед самыми экзаменами, то и не был переведен на второй курс.