Однако жизнь маленького Сильвестра мало изменилась. Для родителей он продолжал быть обузой, а тут еще на улице сверстники стали смеяться над его неправильной речью (у него и прозвище было соответствующее - "криворотый"). Короче, ад был везде: и дома, и на улице. О тех временах младший брат Сталлоне Фрэнк вспоминает так: "Наши родители почти не обращали на нас внимания. К Сильвестру они относились даже с неприязнью. Никогда не ласкали, не разговаривали с ним по душам. Счастливым наше детство никак не назовешь".

Чтобы заставить сверстников считаться с собой, Сильвестр рано начал драться. Сильные кулаки - единственное, что могло помочь мальчишке заставить уважать себя. В мечтах он отождествлял себя с Суперменом из комиксов и даже нижнее белье носил соответствующее: красные шорты и спортивный свитер с нарисованной на нем буквой "С". Но однажды это одеяние стало поводом к насмешкам со стороны одноклассников. Сильвестр по большому секрету рассказал о нем одному из близких приятелей, а тот возьми и проболтайся учителю. Педагог заставил Сильвестра выйти на середину класса и продемонстрировать всем свое суперменское одеяние. Унижение, которое испытал мальчик, на всю жизнь врезалось в его память.

Когда Сильвестру исполнилось девять лет, родители наконец обратили внимание на его неправильную речь. Для укрепления мускулов лица мальчик начал учиться играть на саксофоне, после чего его записали в любительский театр при отряде скаутов, чтобы он оттачивал свою речь на сцене. Когда и это не помогло, Сильвестра отвели к психотерапевту. Но поход закончился ничем: вскоре парень забросал камнями чужой автомобиль, превратив его в груду железа. Так он попал на учет в службе по делам несовершеннолетних штата Мэриленд. Все, кто знал в те годы Сильвестра, были уверены, что впереди его ожидает только одно - тюрьма. Ситуацию усугубил и развод родителей, который произошел в 1957 году.

Единственной отдушиной для Сильвестра в детстве было кино. По его собственным словам: "Кино заменяло мне семью, родителей.