Вскоре Джун покинула Нью-Джерси, чтобы заняться своей карьерой, а сына оставила на попечение матери и сестры. Когда сестра вышла замуж за футболиста Джорджа Шорти, то именно он заменил на время Джеку отца. Над его кроваткой в спальне даже висели газетные вырезки с описанием футбольных достижений Шорти. А Джун вскоре вышла замуж за известного летчика-испытателя Марри Холли-младшего и жила с ним в городе Бельвиле, штат Мичиган.

Джек учился в начальной школе Теодора Рузвельта в Нептуне, располагавшейся примерно в километре от дома. Учился средне, имея постоянные "неуды" за поведение. Как отмечали многие, уже тогда он бредил кино и знал по именам всех известных актеров. Его собственный дебют на школьной сцене состоялся в восьмом классе. Они с одноклассниками собирали деньги на путешествие на Манхэттен и дали платный концерт, в котором Джеку досталась роль... латиноамериканской танцовщицы Кармен Миранды. В 1950 году Джек закончил начальную школу и перевелся в манасканскую среднюю школу в Спринг-Лейке, что в четырех милях от Атлантического океана. Там он сразу угодил в число лучших учеников, однако его дисциплина по-прежнему оставляла желать лучшего. Еще он был активным спортсменом - играл в футбол, баскетбол и пинг-понг.

Несмотря на то, что Джек всегда и везде был душой общества, у него в ту пору не было подружек. Все его приятели уже встречались с девчонками, а он коротал вечера в одиночестве, хотя мечтал подцепить какую-нибудь "цыпочку" (его тогдашнее выражение). Говорят, парня чрезвычайно угнетал его маленький рост, который невозможно было скрыть никакими ухищрениями. Его самым близким приятелем был такой же коротышка (даже чуть ниже Джека) по имени Кен Кенни, которому Джек дал прозвище Ант Титтиз (Муравьиные Титьки).

Закончив школу в 1954 году, Джек отправился в Лос-Анджелес, где жила его мать (он считал ее сестрой) Джун. К тому времени у нее родилось еще двое детей от летчика Холли: мальчик и девочка. Джек поселился в их маленькой квартирке на Инглвуд и стал обивать пороги различных организаций в поисках работы.