Его мать, с максимальной деликатностью, оберегала его от чувства ущербности. Она воспитывала в нем чувство самоуважения, постоянно проводила терапию и поощряла его занятия спортом. Поэтому Фред избежал психологических травм, которые может нанести такое заболевание в детстве. В подготовительной школе он играл в футбол и баскетбол и был провозглашен "Лучшим по всем предметам" в Университетской школе Мемфиса. В эти годы Фред увлекался историей Гражданской войны и его героями были великие военные генералы и лидеры Юга. Это раннее увлечение сильно напоминает увлечение Теда Тернера, который в то же самое время рос в частной академии в Теннесси.

Одно из самых больших, прошедших через всю жизнь влияний оказало на Смита письмо, написанное его отцом незадолго до смерти. В этом письме отец высказал пожелание, чтобы Фред направил состояние в работу, а не становился одним из праздных богачей. Следуя совету отца, Фред превратил свои деньги в начальный капитал и в дальнейшем продолжал рисковать. Первые вестники его будущих сверхдостижений проявились уже в раннем возрасте. В пятнадцать лет он научился летать на самолете и его хобби стало опылять урожай с самолета. В шестнадцать лет он и двое школьных товарищей организовали студию звукозаписи "Ардент Рекорд Компани", которая работает до сих пор. Дело шло прибыльно, и в тот период студия выпустила множество хитов, включая "Большую атласную маму" и "Дом Рока". Такие ранние испытания своих сил в бизнесе свойственны всем инноваторам, изучаемым в этой работе. В юности каждого из них присутствовал тяжелый труд или успешный бизнес.

Смит оставил студию, для того чтобы поступить в Йель. Здесь он стал известен как компанейский парень. Кого только не доставлял он на своем двухмоторном самолете в женские колледжи, расположенные в округе. Смит мог вести образ жизни "обеспеченного студента". Однако, его харизма и страсть к работе проявились еще в молодости.