В конце 1978 года Калугин был заподозрен в шпионаже, и в 1979 году по соображениям безопасности переведен на должность первого заместителя начальника Ленинградского управления КГБ. В 1987 году он возвращен в Москву, выведен в действующий резерв КГБ. Работал по обеспечению безопасности в Академии наук СССР, и затем два года в министерстве электронной промышленности. В 1990 году по достижении «пенсионного возраста»  в пятьдесят пять лет уволен в запас.

Получив пенсионное удостоверение генерала КГБ, Калугин в тот же день посетил находившийся близ Лубянки кабинет директора Историко-архивного института Юрия Афанасьева и с его легкой руки в одночасье стал «демократом».

В начале 90-х годов — он уже популярный в стране активный критик советской системы госбезопасности. В июне 1990 года указом президента СССР Горбачева и постановлением правительства по представлению председателя КГБ СССР Калугин был лишен генеральского звания и государственных наград за нарушение служебных норм и дискредитацию органов госбезопасности. Как он сам признается, в отношении него возбуждалось уголовное дело за разглашение государственной тайны. С сентября 1990 по декабрь 1991 года — народный депутат СССР. В 1992 году после развала СССР попытался стать депутатом парламента России, но собрал на выборах менее 5 % голосов. В 1994 году выехал в США. В 1995 году заявил, что намерен выставлять свою кандидатуру на очередных выборах в Государственную Думу России в 1999 году. Но уже в конце 1997 года в одном из интервью сказал, что «при существующем режиме»  в Россию не вернется «из-за опасений за свою жизнь».