На рубеже 60-х Гарбо и Сесиль Битон уже успели охладеть друг к другу и теперь их связывала только дружба. В число друзей актрисы продолжала входить и Мерседес, но в 60-м году она вылетела из этого списка по собственной вине. Мерседес выпустила книгу мемуаров под названием "Здесь покоится сердце", в которой имела смелость описать свои любовные отношения с Гарбо и Марлен Дитрих. Гарбо обиделась. Когда Мерседес вскоре после выхода книги позвонила ей домой, Гарбо сказала всего лишь одну фразу: "Я не хочу с тобой разговаривать". И повесила трубку. Вплоть до смерти Мерседес в 1968 году они больше не общались.

За четыре года до ухода из жизни Мерседес Гарбо потеряла своего единственного и надежного друга - Шлее. В октябре 1964 года он умер от сердечного приступа. Когда это произошло, жена Шлее Валентина сделала все от нее зависящее, чтобы в их доме не осталось даже следа пребывания Гарбо (она даже священника позвала, чтобы тот очистил квартиру от недобрых сил). Многие люди удивлялись такому повороту в поведении Валентины, ведь все эти годы она вполне благосклонно относилась к союзу своего мужа и великой актрисы.

Несмотря на то, что Гарбо продолжала вести жизнь затворницы, про ее личную жизнь ходили самые противоречивые слухи. Например, ей приписывали любовную связь с Сесиль де Ротшильд и актером Ван Джонсоном. Но сама актриса это отрицала. Как-то вместе с подругой она зашла в секс-шоп и подруга предложила купить ей что-нибудь для занятий "этим". Но Гарбо честно призналась, что с "этим" давно покончено.

В 1972 году с Сесилем Битоном произошла та же история, что и с Мерседес де Акостой. Он позволил себе выпустить мемуары, в которых рассказал о своих отношениях с Гарбо больше, чем актриса ему разрешила.