Арестовали и его жену Антонину Николаевну, работавшую в отделе военно-морской разведки МГБ, и с двухмесячным сыном посадили в Сретенскую тюрьму МГБ.

Абакумова обвинили в работе на иностранные разведки. В том, что он плохо расследовал «ленинградское дело», потому что дружил с секретарем ЦК Кузнецовым. И даже в том, что он сколотил в министерстве преступную группу из еврейских националистов. Понятно, что бывший министр МГБ совершенно не понимал, о каком заговоре идет речь. На этом основании комиссия ЦК, в состав которой входил его бывший шеф Берия, сделала заключение: «Абакумов при допросе пытался вновь обмануть партию, не обнаружил понимания совершенных им преступлений и не проявил никаких признаков готовности раскаяться в совершенных им преступлениях».

По указанию Сталина Абакумова избивали. Поручили это офицерам, которым обещали путевки в дом отдыха, денежное пособие и внеочередное присвоение воинских званий. Его заковали в кандалы. Держали в карцере-холодильнике, давали кусок хлеба и две кружки воды в день. И быстро превратили в полного инвалида. Бывший министр еле стоял на ногах, не мог ходить. Но держался упорно, не признавал себя виновным, потому пережил и Сталина, и Берию, и Рюмина, и других чекистов. Тех арестовали позже, а расстреляли раньше.

После смерти Сталина обвинительное заключение по делу Абакумова подкорректировали, уличив Виктора Семеновича в фальсификации «дела грузинских националистов» и «авиационного дела».

Суд над Абакумовым и его бывшими подчиненными открылся 14 декабря 1954 года в Доме офицеров в Ленинграде. Виновным он себя не признал, настаивая на том, что все решения принимались ЦК.

Нелепо, конечно, было обвинять Абакумова в том, что он – соучастник преступной заговорщической группы Берии. Абакумов Берию не любил и боялся. Но он верно и преданно служил ему, Сталину и государству, ради этого совершал преступления и обрекал на смерть невинных. Этого не хотели говорить полвека назад, а многие не желают признавать и сегодня.