В Великую Отечественную войну в июне – сентябре 1941 начальник штаба танкового полка, участник боёв на Западном фронте. С октября 1941 – старший помощник начальника, а с апреля 1942 – начальник отдела Автобронетанкового управления, с июня 1942 – начальник штаба этого управления, с января 1943 по март 1944 начальник штаба Управления командующего бронетанковыми и механизированными войсками Карельского фронта. В марте – сентябре 1944 – командующий бронетанковыми и механизированными войсками 32-й армии того же фронта. Участвовал в обороне и освобождении советского Заполярья, проявил личное мужество и высокие организаторские способности в управлении бронетанковыми войсками.
В 1947 окончил Военную академию бронетанковых и механизированных войск. После окончания академии с ноября 1947 командир танкового полка, в 1948-1949 начальник штаба танковой дивизии. В 1951 окончил военную академию Генштаба. С января 1952 командир механизированной дивизии, затем на штабных и командных должностях. В 1960-1964 начальник штаба – первый заместитель командующего войсками Московского военного округа, с июля 1964 первый заместитель, а с октября 1965 командующий войсками Ленинградского военного округа.
С апреля 1967 Соколов – первый заместитель министра обороны СССР. Указом Президиума Верховного Совета СССР от 28 апреля 1980 года "за личное мужество и умелое управление войсками, проявленные при оказании интернациональной помощи Демократической Республике Афганистан" Маршал Советского Союза Соколов удостоен звания Героя Советского Союза (медаль "Золотая Звезда" N 11438 с вручением второго ордена Ленина) С 22 декабря 1984 по 30 мая 1987 – Министр обороны СССР.