В ту же зиму 1850/51 года Толстой встретился с женой конногвардейского полковника Софьей Андреевной Миллер, урожденной Бахметевой, и влюбился в нее. Они сошлись, но браку их препятствовали, с одной стороны, муж Софьи Андреевны, не дававший ей развода, а с другой — мать Толстого, недоброжелательно относившаяся к ней. Только в 1863 году брак их был официально оформлен. Софья Андреевна была образованной женщиной; она знала несколько иностранных языков, играла на рояле, пела и обладала незаурядным эстетическим вкусом. Толстой не раз называл ее своим лучшим и самым строгим критиком. К Софье Андреевне обращена вся его любовная лирика, начиная с 1851 года.
Толстой постепенно приобретал более широкие литературные связи. В начале 50-х годов поэт сблизился с Тургеневым, которому помог освободиться из ссылки в деревню за напечатанный им некролог Гоголя, затем познакомился с Некрасовым и кругом «Современника». В 1854 году, после большого перерыва, Толстой снова выступил в печати. В «Современнике» появилось несколько его стихотворений и первая серия прутковских вещей.
В годы Крымской войны Толстой сначала хотел организовать партизанский отряд на случай высадки на балтийском побережье английского десанта, а затем, в 1855 году, поступил майором в стрелковый полк. Но на войне поэту побывать не пришлось — во время стоянки полка под Одессой он заболел тифом. После окончания войны, в день коронации Александра II, Толстой был назначен флигель-адъютантом.