И хотя после успеха «Кара-Бугаза» и «Колхиды» перед Паустовским открылась широкая дорога преуспевающего советского писателя, он делает резкий поворот. Решительно впредь отказывается от темы социалистического строительства, чтобы, как он говорил, не превратиться в «индустриального дрозда» и не потерять себя как писателя. Так, лишь в середине тридцатых годов он уже окончательно расстается с «большими ожиданиями».
Прервав работу над экранизацией «Колхиды» (фильм так и не вышел на экраны), отец уезжает в Севастополь собирать материал для книги «Черное море». Он опять погружается в столь любимую им обстановку приморского города, вспоминает Одессу начала 20-х годов, подарившую ему дружбу с Бабелем.
Через двадцать лет после их встречи Бабель был арестован и пропал, и Паустовский считал своим долгом рассказать о нем при первой же возможности. Этой возможности пришлось ждать еще двадцать лет.
Имя Бабеля долго оставалось под запретом, а писателям в нашей стране, как и другим деятелям культуры, приходилось выражать свои мысли с оглядкой на указующий перст. Не миновала эта участь и Паустовского, хотя он всячески старался писать так, чтобы не обделить ни себя, ни читателей. Не случайно он намеревался заключительную часть своей автобиографической повести назвать не «Книгой скитаний», а – «На медленном огне». Но ясно, что такое название не прошло бы через цензуру.
Время работы отца над воспоминаниями о Бабеле как раз совпало с его выступлением в 1956 году на обсуждении романа В. Дудинцева «Не хлебом единым». По существу это было первое открытое писательское слово о моральном облике партократии, порожденной большевизмом. Говоря о жертвах тоталитарного режима, отец упоминает и Бабеля. Отождествляя типичного партократа-номенклатурщика с образом героя романа – Дроздова, отец сказал: «…Если бы не было дроздовых, то сейчас с нами, в нашей среде жили и работали бы такие талантливые люди искусства, как Мейерхольд, как Артем Веселый, как Бабель и многие другие. Их уничтожили Дроздовы. Уничтожили во имя собственного вонючего благополучия».