После Щепкина в 1829 году усадьбу купила "купеческая жена" Афимья Рябушинская. Ее крутившийся, как веретено, с утра до ночи супруг услышал однажды в доме игру на скрипке. Звуки доносились с чердака. Тайком от крутого отца брал уроки музыки сын Павел. То был последний урок: скрипка разлетелась вдребезги от удара по стропилам, учитель сбежал...

Сын не пошел против воли отца, видевшего в нем продолжателя семейного "дела". Оно было рядом с домом. Во дворе в корпусе фабрики грохотали триста ткацких станков. Первенец Павел унаследовал по завещанию якиманский дом. От тягостного брака, заключенного по воле родителей, после развода осталось у Павла Рябушинского шесть дочерей. Вторая любимая жена родила ему за двадцать лет 16 сыновей и дочерей! Они оставили след не только в фамильном деле, но и в истории искусства. Особняк Михаила Рябушинского на Спиридоновке (ныне - дом приемов МИДа), мог бы стать музеем, как вилла Барберини в Риме. В этом доме хранилось около ста картин великих мастеров. Они вошли в собрание Третьяковки и других музеев. Степан Рябушинский обожал русские иконы, многие из них спас как реставратор. Если бы не 1917 год, дом этого "господина Рябушинского" у Никитских ворот (Сталин поселил в нем друга Максима Горького) стал бы музеем икон. Из его собрания 54 шедевра попали в Третьяковскую галерею... Николай Рябушинский, белая ворона семьи, вышел из дела, отдался искусству, писал картины, выставлялся, по-крупному меценатствовал, связал свое имя с журналом "Золотое руно", объединением московских художников "Голубая Роза", плеядой замечательных живописцев начала ХХ века.

Старший из братьев, Павел Павлович, родившийся на год позже Владимира Ильича, попал в прицел вождя мирового пролетариата. Было за что. После революции 1905 года Рябушинский понял, что надо спасать Россию не только экономическими средствами. Занялся политикой, издавал большую газету "Утро России", возглавил разные комитеты.