Несмотря на то, что Столяров в те годы считался звездой советского кино, его семья, в отличие от других знаменитых семей, жила довольно скромно. По словам К. Столярова:

"Наша семья жила, как страна. Вся жизнь в коммуналке… Мать перешивала мне вещи, так что я ничем не выделялся среди сверстников. Мы жили в Сокольниках: деревянные домишки, шпанистый район, у нас в школе иногда с диктантов милиция с собакой народ забирала. Я ходил, как все мальчишки послевоенной поры, с ножом в кармане…

У отца не было никакой частной собственности, кроме ружья. Ни дачи, ни машины — рюкзак и ружье. Поэтому иногда мы всей семьей выезжали в какую-нибудь область: Новгородскую, Псковскую, Рязанскую. Жили в брошенных домах. Отцу постоянно писали простые люди письма: "Сергей Дмитриевич, приезжайте к нам, у нас такая охота, рыбалка, сеновал". Он везде был желанным гостем… Отец ходил босиком, в простой рубахе и штанах. Помню, как-то деревенские мальчишки, с которыми я играл, спросили меня, почему отец не одевается как артист. На мой вопрос он ответил, что мог бы с тросточкой и при бабочке ходить по деревне, но не любит эту показуху, потому что он такой же, как и другие люди…

Да и дружил отец в основном с людьми простыми, не из мира искусства. Из актеров у него был только один друг — Борис Бабочкин. Они вместе ездили на охоту. Их дружба продолжалась всю жизнь".

В 1953 году, когда вышел фильм «Садко» с Сергеем Столяровым в главной роли (режиссер А. Птушко), к артисту пришла и международная известность. На кинофестивале в Венеции он получил первую премию. Однако самого актера на тот фестиваль не послали по идеологическим соображениям. (И это при том, что через год французский журнал «Синема» включил Сергея Столярова в список выдающихся актеров мирового кино, причем от Советского Союза в этом списке он был один).