Вскоре стало известно, что их отец нарушил клятву, следуя рыцарской поговорке, что «человек под стражей не обязан держать обещание». Франциск I отказался вернуть Карлу V бургундские земли. Но, главное, весь мир встал на сторону французского короля: немецкие лютеране, турецкий султан, наконец, папа, которого ужасало грозящее всему миру господство Габсбургов.

Жертва своей победы, Карл V, которого обвели вокруг пальца, выместил свою злобу на юных заложниках. Именно им пришлось расплачиваться за то, что их отец не сдержал слово: детей лишили слуг, единственного воспитателя и перевели в изолированную от всего мира крепость Педраццо делла Сьерра. Запертые в тесной темнице, в окружении молчаливых тюремщиков, королевские дети пролили столько слез, что они образовали бы целое море.

Чувствительный и легко ранимый Генрих страдал сильнее, чем его старший брат. И в те мрачные годы он создал для себя собственный мир, который освобождал его от тисков бесчестья и унижений. Он убежал от действительности в мечту. Его излюбленным чтением стал роман «Амадис Галльский» Гарсии Ордоньеса де Монтальво. Как схожи оказались судьбы сыновей короля Галлии Периона – Амадиса и Галаора – и короля Франции. Амадиса и Галаора тоже сослали в чужие земли. В плену у злого волшебника оба принца стойко выносили испытания, которым тот их подвергал. Амадис рано возмужал – в двенадцать лет он казался пятнадцатилетним. Влюбившись в дочь короля Ориану, и ради этой любви он вынужден был прибегнуть к колдовству феи Урганды. Фея-воительница вручила юному герою волшебное копье, сделавшее его непобедимым, и даровала влюбленному вечную молодость.

Эта сказочная история опьянила Генриха. Подобно Амадису, он захотел столкнуться с тысячей препятствий, чтобы соединиться со своей Орианой, у которой в его воображении было лицо той, что подарила ему нежный поцелуй и своим дыханием вдохнула в него силы в самый несчастный день его жизни.

Но всему, даже тяжелым испытаниям, однажды приходит конец. Пришел конец и четырехлетним страданиям королевских сыновей. Позднее Генрих узнал, что именно Диана де Пуатье начала собирать деньги для уплаты гигантского выкупа за детей короля.