В Великую Отечественную войну в июне — сентябре 1941 начальник штаба танкового полка, участник боёв на Западном фронте. С октября 1941 — старший помощник начальника, а с апреля 1942 — начальник отдела Автобронетанкового управления, с июня 1942 — начальник штаба этого управления, с января 1943 по март 1944 начальник штаба Управления командующего бронетанковыми и механизированными войсками Карельского фронта. В марте — сентябре 1944 — командующий бронетанковыми и механизированными войсками 32-й армии того же фронта. Участвовал в обороне и освобождении советского Заполярья, проявил личное мужество и высокие организаторские способности в управлении бронетанковыми войсками.

В 1947 окончил Военную академию бронетанковых и механизированных войск. После окончания академии с ноября 1947 командир танкового полка, в 1948–1949 начальник штаба танковой дивизии. В 1951 окончил военную академию Генштаба. С января 1952 командир механизированной дивизии, затем на штабных и командных должностях. В 1960–1964 начальник штаба — первый заместитель командующего войсками Московского военного округа, с июля 1964 первый заместитель, а с октября 1965 командующий войсками Ленинградского военного округа.

С апреля 1967 Соколов — первый заместитель министра обороны СССР. Указом Президиума Верховного Совета СССР от 28 апреля 1980 года "за личное мужество и умелое управление войсками, проявленные при оказании интернациональной помощи Демократической Республике Афганистан" Маршал Советского Союза Соколов удостоен звания Героя Советского Союза (медаль "Золотая Звезда" N 11438 с вручением второго ордена Ленина) С 22 декабря 1984 по 30 мая 1987 — Министр обороны СССР.