Когда Йозеф был еще студентом – ему шел тогда двадцать первый год, Оппольцер взял его в свою клинику и через пять лет назначил ассистентом, готовя молодого человека в качестве своего преемника. Но в 1871 году Оппольцер умер, Брейеру было только двадцать девять лет. Бюро медицинского факультета занялось поисками на стороне более зрелого и известного человека, остановив свой выбор на профессоре Бамбергере. О том, что произошло затем, Брейер никогда не откровенничал: подал ли он в отставку в знак недовольства или же был уволен профессором Бамбергером, пожелавшим иметь ассистента по собственному выбору. Брейер занялся частной практикой, одновременно продолжая в лаборатории профессора Брюкке исследования «полузамкнутых каналов среднего уха», которые, по его мнению, контролировали движения головы. Работая в лаборатории в качестве частного лица, он сделал важные открытия, касающиеся внутреннего уха как органа, чувствительного к гравитации. Он подружился с Флейшлем и Экснером и здесь же встретил Зигмунда, который был моложе его на четырнадцать лет и еще не имел диплома врача. Брейер приглашал Зигмунда к себе на ланч. Его жена Матильда и дети приняли Зигмунда в семью взамен младшего брата Йозефа – Адольфа, преждевременно умершего несколько лет назад.

Семья Брейер проживала в центре города, на Бранд–штете, 8, в двух кварталах от площади Святого Стефана и фешенебельных лавок Кертнерштрассе и Ротентурм–штрассе. Из окон дома Брейеры могли любоваться благородными шпилями собора Святого Стефана, двумя романтическими башнями перед фронтоном и крутой мозаичной крышей, гигантским колоколом Пуммерин, гудевшим, когда жителей города призывали тушить пожар или звали на молебен. Заложенный в 1144 году за пределами первоначальной средневековой городской стены, собор, как и столица, которой он служил, воплотил в себе семь веков архитектуры. Его внутреннее устройство было величественным, внешнее – намного более прагматичным. Здесь на открытом воздухе высилась кафедра, с которой священники призывали венцев отогнать от осажденной Вены турок.