Старший сын Якоба и Сали – Эммануэль – уже был женат, когда Якоб привез Амалию во Фрайберг. Другой сын Сали – девятнадцатилетний Филипп – жил в семье Фрейд и стал старшим братом сначала для Зигмунда, а затем для второго сына Амалии – Юлиуса, который умер, когда ему было всего шесть месяцев. Филипп играл также роль старшего брата для Анны, родившейся через восемь месяцев. Зигмунду было трудно определить свое отношение к Филиппу, который был почти ровесником Амалии: иногда ему казалось, что Филипп – его отец, а Якоб – дед. Эти трудности исчезли, когда Амалия и Якоб переехали на год, довольно неблагоприятный, в Лейпциг, затем в Вену, а Эммануэль увез свою семью и своего брата Филиппа в Манчестер, где они обосновались в ткацком бизнесе. Зигмунду удалось повидаться со своими братьями по отцу и их потомством накануне поступления в Венский университет, когда Якоб выполнил свое обещание в награду за аттестат зрелости оплатить его пребывание летом в Англии.

Но во втором браке фортуна начала изменять Якобу Фрейду. Новая северная дорога из Вены обошла стороной Фрайберг. Инфляция и депрессия 1850–х годов застали его, как, впрочем, и многих других, врасплох. Off не смог уплатить долги, накопившиеся в результате значительных обязательств. Когда же Якоб ликвидировал свое дело и прибыл в Вену с четырехлетним сыном и полуторагодовалой дочерью, ему противостояли прочно утвердившиеся фирмы. Без капитала он не мог выдержать конкуренции. При поступлении Зигмунда в гимназию Якоб Фрейд записал себя в регистрационном листке: «Торговец шерстью». Однако горькая правда состояла в том, что он так и не стал вновь торговцем. Он не выкупил лицензию, не уплатил налоги, а выполнял мелкие поручения в торговле шерстью и текстилем. Когда Якобу» подвернулась выгодная работа, Фрейды купили фортепьяно для Анны, керосиновую лампу, которую можно было поднимать и опускать над обеденным столом, одежду для семьи, заказали фотографии, выделили большую сумму – Зигмунду на покупки в книжной лавке Дойтике. Когда жеработа приносила мало доходов или же Якоба увольняли – это случалось все чаще, – Фрейды жили без денег, выслушивая упреки Амалии: «Нечем платить».