В 50-е годы Утесов с супругой жили в доме на Красносельской, а их дочь с мужем - в доме на углу Каретного ряда и Садового кольца. Елена Осиповна часто болела, а тут еще начались неприятности с дочерью. Она пела в оркестре отца, однако ее выступления все чаще вызывали раздражение у музыкальных критиков. Вот слова А. M. Ревельс: "Однажды Утесову позвонили из Министерства культуры и велели Диту из оркестра уволить. Это был для Леонида Осиповича страшный удар. Он долго думал, как это сделать безболезненно для дочери. И придумал. Он сказал ей: "Диточка, знаешь, давай мы поступим так. Ты уйдешь из оркестра и создашь свой маленький джаз. И увидишь, все сразу успокоятся, исчезнут эти несправедливые рецензии".

Дита так и сделала. И действительно, рецензии стали совсем другими, травля прекратилась. Ее джаз пользовался большим успехом".

В 1962 году после продолжительной болезни скончалась жена Утесова Елена Осиповна. Жить в одиночестве артист не смог и поэтому переехал к своей дочери в дом в Каретном ряду. Их сосед по дому, известный нам П. Леонидов, так описывает их квартиру: "Семья Утесовых владела в этом доме двумя квартирами, сплошь уставленными трельяжами, комодами и шкафами Буля (один шкаф у них - из двух, сделанных Булем Людовику Четырнадцатому по эскизам самого короля. На верхней притолоке шкафа - эмблема Людовика Четырнадцатого - Солнце)".

Активная творческая жизнь Утесова продолжалась после смерти жены недолго. В марте 1965 года в связи с 70-летием Утесова наконец-то наградили званием народного артиста СССР. В советском эстрадном искусстве это был первый подобного рода прецедент. А буквально через год и девять месяцев с артистом произошло несчастье. В декабре 1966 года во время выступления на сцене ЦДСА у него случился сердечный приступ и он упал без сознания. Врачи спасли ему жизнь, однако на сцену Утесов больше не вернулся. Так в возрасте 71 года Леонид Утесов ушел на пенсию. Как и отставной Н.