Джон Поль Джонс родился 3 января 1946 года в Сидкале, графство Кент. Правда, звали его тогда Джон Болдуин. В отличие от большинства рок-музыкантов мальчик родился в музыкальной семье. Поэтому трудно сказать, проявлял ли он интерес к музыке — его никто об этом не спрашивал: в 14 лет дали в руки бас-гитару и сказали: играй. Правда, отец, известный джазовый пианист Джо Болдуин, настаивал на саксофоне, но саксофон маленькому Джону как-то не приглянулся. Джазом, как чистым искусством, заработать было трудно всегда и везде — и вот отец с сыном зарабатывали свой ломоть «брэда с баттером» по свадьбам, выпускным вечерам и прочим пьянкам.
В русле семейных традиций Джон Поль хорошо овладел нотной грамотой и теорией музыки, инструмент его по тем временам был не то, что сейчас (пальцы толстые, будешь на басу играть), а почти что экзотический.
В семнадцать лет его без вопросов взяли в популярный биг-бэнд Джета Харриса и Тони Михана. Биг-бэнд шел в прогрессивном русле — играл практически то, что позже назвали джаз-роком, но с намного меньшим успехом, чем BLOOD, SWEAT & TEARS или CHICAGO десятилетие спустя. О консерватизме тогдашней британской публики здесь было уже сказано немало — не будем повторяться.
По воспоминаниям Тони Михана нервный и очень музыкальный юноша был всесторонне одарен: кроме баса он блестяще владел органом — классическим и «Хэммондом» — играя на этом инструменте в джазовых стилях, что по всем временам было редким искусством. Как раз в этот период (около 1964 года) бас-гитара начала выходить из оркестрового гетто в качестве самодостаточного и достойного инструмента. В этом немалая заслуга черных исполнителей, сконцентрировавшихся вокруг прославленного детройтского лэйбла Motown — таких музыкантов, как Фил Аппери, Джеймс Джемерсон и подобных им. Джон Поль (взявший псевдоним Джонс, чтобы не прикрываться отцовской репутацией) жадно слушал этих пионеров солирующего баса, впитывая их приемы. Джонс учился мастерству аранжировки — учился поневоле, по нужде, преодолевая природное отсутствие амбиций в этой области. И, конечно же, при всякой возможности подрабатывал в студиях сессионистом.