Но приговор, вынесенный «Яше», не был приведен в исполнение. Уже началась Великая Отечественная война, и разведке катастрофически не хватало опытных сотрудников. В августе 1941 года благодаря ходатайству Павла Судоплатова и вмешательству Лаврентия Берии Серебрянский решением ПВС СССР от 9 сентября 1941 года был амнистирован, освобожден из заключения с прекращением уголовного дела и снятием судимости, восстановлен в органах и партии.
С 3 сентября 1941 года – руководитель группы во 2-м отделе, с 18 января 1942 года – нач. группы, нач. 3-го отделения 4-го Управления НКВД / НКГБ СССР.
С 6 ноября 1943 года – в особом резерве 4-го Управления НКГБ СССР на должности руководителя группы. В рядах 4-го Управления Я. И. Серебрянский прошел всю войну, лично участвуя во многих разведывательных операциях. Как пример можно назвать вербовку взятого в плен немецкого гросс-адмирала Эриха Редера
29 мая 1946 года уволен на пенсию по состоянию здоровья.
В мае 1953 года приглашен Павлом Судоплатовым на работу в центральный аппарат МВД. С 30 мая 1953 года – оперработник негласного штата 1-й категории 9-го (Разведывательно-диверсионного) отдела. С 31 июня 1953 года – сотрудник ВГУ МВД СССР.
8 июля 1953 года уволен из МВД в запас.
8 октября 1953 года арестован.
27 декабря 1954 года отменено решение об амнистии от 9 августа 1941 года. В связи с тем что по уголовному делу, возбужденному в отношении Серебрянского в 1953 году, достаточных доказательств для предания его суду как участника заговорщической деятельности Берии добыто не было, а его осуждение в 1941 года было признано Прокуратурой СССР обоснованным, дело за 1941 год было направлено в Верховный суд СССР с предложением заменить ему расстрел 25 годами лишения свободы в ИТЛ и не применять к нему ст. 15 УК РСФСР.
30 марта 1956 года Серебрянский скончался в помещении Бутырской тюрьмы на допросе у следователя Военной прокуратуры СССР Цареградского.
13 мая 1971 года решением ВК ВС СССР приговор от 7 июля 1941 года отменен и дело прекращено по вновь открывшимся обстоятельствам. Реабилитирован.