Решающим оказалось влияние предков по отцовской линии, среди которых некоторые были законченными алкоголиками. И в их число входит родной дед Поля — Анри Жозеф. Никола Огюст потерял отца в семь лет, и в семье о нем никогда не говорили. Анри Жозеф Верлен был нотариусом, но это мирное ремесло плохо соответствовало его буйному нраву. Только один пример: в 1804 году он стал в пьяном виде поносить последними словами императора Наполеона, и его вызвали к прокурору для объяснений. Внезапная смерть Анри Жозефа помешала дальнейшему расследованию, которое могло бы плохо для него кончиться. Хорошо помнившие его люди утверждали, что в юности он хотел посвятить себя церкви, но этому благому намерению не суждено было сбыться из-за неумеренного пристрастия к алкоголю. В роду Верленов вообще было очень много священников, а наследственная вспыльчивость проявлялась через поколение: у буяна и пьяницы Анри Жозефа родился мягкий и благоразумный сын Никола Огюст, который произвел на свет еще одного буяна и пьяницу — Поля Мари, ставшего отцом мягкого и благоразумного Жоржа. Впрочем, природная кротость последнего не смогла одолеть отравленную кровь — в 1926 году сын поэта умер от белой горячки, не оставив потомства. Так пресеклась эта линия рода Верленов.

Раннее детство Верлена прошло на юге, где стоял 2-й саперный полк. Семья кочевала из-за военной службы отца. Поль запомнил процессию «кающихся» в Монпелье: они шествовали в монашеских рясах с капюшонами, закрывающими лицо, и изрядно напугали мальчика. На празднестве по случаю провозглашения республики в Ниме он впервые услышал национальный гимн — «Марсельезу». В Лионе его больше всего поразили бурные воды Роны. По возвращении в Мец он впервые влюбился — на седьмом году жизни. Барышне было восемь лет, волосы ее отливали серебром, а лицо было усеяно веснушками. Верлен уверял, что звали ее Матильда — быть может, так оно и было, но очень вероятно, что это имя стало для него навязчивой идеей. И всю жизнь его приводили в волнение веснушки: даже много лет спустя он был способен проникнуться внезапной страстью к веснушчатой женщине — как это произошло в 1886 году с Мари Гамбье.