К тому же профессия оркестранта никак не гарантировала Казакову средств к существованию. Найти надежное место в Москве молодому музыканту тогда было нелегко, а Казакову, учитывая некоторые семейные обстоятельства, в особенности. Дневник 1949—1953 годов, со всей очевидностью подтверждающий, с какими трудностями, не только материальными, сталкивалась семья Казаковых в то время, полон отчаянных признаний на этот счет. Наивность и пылкость юного романтика, решившего посвятить себя искусству, сочетается в этом дневнике с настойчивостью трезво мыслящего человека, которому весьма дорого достается хлеб насущный. Суждения о литературе и музыке перемежаются здесь постоянными жалобами на отсутствие работы по специальности, на то, что с оркестрами сотрудничать случается эпизодически и потому вечерами приходится играть на танцверандах «все эти па-де-грасы», в поте лица «биться за жизнь, за деньги». Не попав, как он того хотел, в консерваторию, Казаков готов был взяться за что угодно: пытался устроиться грузчиком на кондитерскую фабрику, репортером в фотохронику ТАСС, подумывал о работе музыкантом на периферии. «Был слушок, — записывал он в ноябре 1952 года, — что нужны-де контрабасисты в Улан-Удэ. Вот это я понимаю! Места, что называется, «не столь отдаленные».

При таком явном житейском неблагополучии, о чем правдиво сказано в дневнике 1949—1953 годов, нельзя не удивляться той настойчивой тяге к писательству, какая проснулась в Казакове на грани сороковых — пятидесятых годов, и не радоваться той целеустремленности, какую проявил он в те годы вопреки всему. «Сегодня снова получил отрицательные отзывы о моей новой пьесе, — жаловался Казаков в дневнике в октябре 1951 года. — Снова и снова злоба и отчаяние охватывают меня... Но все равно я буду писать и напишу нечто очень яркое, свежее и талантливое. Пусть мне отказывают. Пусть! Но победа будет за мной...» Неудачи словно подстегивали самолюбие начинающего писателя, закаляли волю и прибавляли веры в свое призвание.