Джош Логан, крестный отец Джейн и самый лучший друг Генри, характеризовал его как невыносимо холодного, жестокосердного отца. Брук Говард, подруга детства Джейн, вспоминала: «Хенк ужасал любого», его никогда не было рядом. Логан добавлял: «Казалось, что Генри всегда где-то в другом месте, даже когда он был в соседней комнате. Он не знал, как проявить любовь к своей семье, а может быть, именно этого и не хотел делать». Джейн сказала однажды: «Я благоговела перед моим отцом. Уже довольно взрослой девушкой я готова была вытворять что угодно, лишь бы привлечь к себе его внимание». Джейн так ненавидела свою мать, что однажды заявила ей, что всегда желала, чтобы ее матерью была Кэтрин Хепберн.

Джейн провела свои первые годы в Калифорнии, где была окружена суровой заботливостью со стороны гувернантки, которая отбивала у нее охоту к объятиям и поцелуям. Гувернантка говорила, что привязанность могла бы сделать Джейн эмоционально слишком зависимой. Это было идентично условиям воспитания Теда Тернера, созданным его отцом, желавшим заставить сына чувствовать опасность. Ранний сенсорный и эмоциональный голод, кажется, приводил к противоположным результатам, поскольку сформировал ее в эмоционально зависимого взрослого. Джейн посещала целый ряд школ-пансионов и частных училищ, начиная с Брентвуд-тауна и дневной школы в Калифорнии. Ее мать становилась все больше и больше ненадежна и невротична. В течение войны Фрэнсис пыталась сойтись с другими мужчинами и лечиться от состояния депрессии (что мало отличалось от действий матери Глории Стайнем). Джейн искала спасения в занятиях лошадьми, атлетикой и в книгах. В своей подруге и соседке Брук Говард она находила выход своим эмоциям и привязанность. Мать Брук была первой женой Генри, я два семейства много лет поддерживали странные близкие отношения, пока мать Брук не покончила с собой. Брук вспоминала об этом периоде: «Все мы словно благоговели перед Джейн. Казалось, ничто не может расстроить ее. Она была подтянутая, очень уверенная в себе и очень жесткая. Как закаленная сталь». В душе Джейн навсегда запечатлелось ощущение замкнутости и смущения. Когда Генри получил заглавную роль в «Господине Робертсе» на Бродвее в 1948 году, Джейн исполнилось одиннадцать. Семья вновь отправилась в Гринвич, штат Коннектикут, где Джейн поступила в Гринвичское училище. Ее ближайшая подруга Брук Говард вскоре присоединилась к ее семье.