Они жили на перекрестке улиц Кингисеппа (ныне Кронверкской) и Большой Пушкарской, недалеко от Каменноостровского проспекта, в массивном угловом шестиэтажном здании в стиле позднего модерна, с большими квадратными окнами, многочисленными эркерами и подъездами, с угловой башенкой, хорошо видной издалека. Дом был построен в 1914 году и спустя 10 лет все ещё выглядел богато и солидно. В этом доме жили многие крупные работники партийного и государственного аппарата, в том числе сам С.М. Киров, известные военачальники, деятели искусств, знаменитые спортсмены. Жили они - само собой разумеется - в отдельных квартирах. Но в доме было много и простого люда - интеллигентов, рабочих. Они обитали в коммунальных квартирах, с общей, на несколько семей, кухней и туалетом. В одной из таких коммуналок на шестом этаже в крыле, выходящим на Кронверкскую поселили и Поляковых. У них была огромная - 56 квадратных метров - комната, разгороженная тонкими перегородками на три комнатки, две небольших - кабинет и детская и одна побольше, служившая гостиной и спальней.

Вспоминает живший в этом же доме А.Л. Ратнер, детский друг Левы, в последствии капитан 1 ранга (кстати, автор периодически публиковавшихся в центральной прессе остроумных афоризмов): "В доме было два больших парадных двора, с газонами и фонтанами и двенадцать "черных" дворов. Дом имел свою электростанцию и сорок восемь гаражей, до революции в них были конюшни. Одно из помещений так и осталось конюшней. Запомнилось это потому, что мы, мальчишки, частенько и с удовольствием ели жмых, который сюда привозился для лошадей. Напротив дома со стороны Кронверкской в Матвеевском садике стояла красивейшая церковь, мы часто гуляли там. Потом её взорвали, и мы стали играть на её развалинах в "казаки-разбойники". Игры продолжалась на "черных", то есть не парадных лестницах одного из наших дворов.