После смерти королевы Елизаветы для сэра Уолтера Ралея настали трудные времена. Новый король Яков I Стюарт был расположен к Эссексу, своему стороннику, и, соответственно, заранее предубежден против Ралея. Кроме того, сэр Уолтер стоял за войну с Испанией, а это не входило в планы мирной политики Якова. В 1602 году Ралей продал свои ирландские поместья Ричарду Бойлю. У него отобрали особняк Дархем-хаус, который был возвращен епископу, сместили с должности капитана гвардии, лишили всех монополий и губернаторства в Джерси. Считалось, что он оказался причастным к тайному заговору в первые месяцы правления Якова, и 19 июля 1603 года его заточили в Тауэр. Там он пытался заколоться, но нанес себе лишь небольшую рану. Процесс над ним состоялся в ноябре 1603 года в Винчестере и отличался очевидной предвзятостью. Сэр Уолтер отлично держался, что, в сравнении с грубостью генерального прокурора сэра Эдварда Кока, заставило публику перейти на его сторону. Однако Ралей, скорее всего, знал о готовящемся заговоре, хотя суду не удалось собрать достаточно улик, чтобы доказать его вину. Всем заправлял Тайный совет

Сэру Уолтеру Ралею вынесли смертный приговор, который не был приведен в исполнение, а оказался заменен заточением в Тауэре, где Ралей и оставался до 19 марта 1616 года. Король забрал себе владения в Шерборне, переданные ранее Ралеем сыну, а сумма в восемь тысяч фунтов, которая должна была быть выплачена королевским казначейством в качестве компенсации за поместье, была уплачена лишь частично. Несмотря на содержание под стражей, заключение Ралея оказалось достаточно легким, и он снова обратился к занятиям химией и литературой. До этого сэр Уолтер был известен как поэт, а в тюрьме он сочинил и один том своей подробной «Всемирной истории». Там же, в Тауэре, он изобрел чудодейственный эликсир, очевидно сильно действующий стимулятор жизнедеятельности.