В 1922 году Каверин женился на сестре Тынянова, Лидии (1902–1984), ставшей впоследствии прозаиком, автором исторических повестей и романов.

Много сделал Каверин и для замечательного драматурга Евгения Шварца, который в дневнике (февраль 1953-го и сентябрь 1955 года) оставил исключительно выразительный словесный портрет своего друга:

«Он был всегда ясен. И доброжелателен. Правда, чувство это исходило у него из глубокой уверенности в своем таланте, в своей значительности, в своем счастье… Как это ни странно, знания его как-то не задерживались в его ясном существе, проходили через него насквозь… Еще более бесследно проходили через него насквозь жизненные впечатления…

Бог послал ему ровную, на редкость счастливую судьбу, похожую на шоссейную дорогу, по которой катится не телега его жизни, а ее легковой автомобиль… Мы часто отводили душу, браня его за эгоизм, самодовольство, за то, что интересуется он только самим собой, тогда как мы пристально заняты также и чужими делами. Но за тридцать лет нашего знакомства не припомню я случая, чтобы он встретил меня или мою работу с раздражением, невниманием, ревнивым страхом. Нас раздражало, что ясность ему далась от легкой и удачной жизни… Ни тени предательства, ни попытки бросить товарища в трудную минуту, отказаться отвечать на его горе мы не видели за все тридцать лет дружбы от Каверина. Мы отводили на нем душу еще и потому, что недостатки его были так же ясны и просматриваемы, как и все его существо. И вдруг поняли — жизнь показала, время подтвердило: Каверин благородное, простое существо. И писать он стал просто, ясно, создал в своих книгах мир несколько книжный, но чистый и благородный. И мы любим теперь его и весь его дом…