С 1940 года в годы Второй мировой войны, Ливерпуль подвергался разрушительным бомбардировкам, поэтому многие его жители эвакуировались. Эпстайны также покинули Ливерпуль и перебрались в Саутпорт, где Брайан начал посещать колледж. Это были не очень хорошие для него годы. Он с большим трудом приспособился к новой жизни, но не включился в нее. Одноклассники относились к Эпстайну как к чужаку, да и учителя не пытались понять упрямого мальчика. В детстве Брайан был необщителен, ему не нравилось учиться, он был малоподвижен и не любил спорт. К десяти годам у него уже был не единственный опыт исключения из школы. Брайан не любил школу еще и по причине того, что многие дети его обижали и обзывали, к евреям относились очень плохо. Поэтому ничего удивительного в том, что в тринадцать лет он провалил экзамены, которые необходимо было сдать для поступления в частную школу.

Отчаявшись, родители зачислили его в школу Вест-Кантри, куда принимали всех желающих. Осенью 1938 года по настоянию отца Брайан был вынужден сменить место учёбы. Отец всё-таки добился зачисления сына в Рекин – известный частный колледж. Это было большой травмой для мальчика: он только привык к новой школе, где проявил успехи в живописи и обзавёлся друзьями. Постепенно Брайан приспособился и к новой школе. Он по-прежнему проявлял успехи в живописи и по искусству был первым в классе. Мечтой Эпстайна стало желание стать известным дизайнером-модельером. Естественно, его отец был против этого, поскольку не считал данную профессию достойной. Закончить школу по всем правилам Брайну все же не удалось. Он прямо перед своим шестнадцатилетием бросил школу и ушел не получив аттестата. Единственным возможным вариантом для него было продолжить семейное дело, чем он и начал заниматься, работая в мебельном магазине, где добился значительного успеха.