Одни считали его чудаком, другие, в конце его жизни просто сумасшедшим, ибо он отдавал за день тысячи противоречивших друг другу приказов, указов и распоряжений (естественно, никто их и не пытался выполнить). С детства будущий король увлекался рыцарскими романами и древнегерманским эпосом. В Охеншвангау — дворце его отца Максимилиана II, юный принц часами рассматривал росписи на стенах. Это были сцены из эпоса о Нибелунгах: подвиги Зигфрида и романтическая любовь бесстрашного рыцаря и прекрасной принцессы Кримхильды. Здесь же он увидел и картины, иллюстрирующие поэму о Лоэнгрине — поэта средневековья Вольфрама фон Эшенбаха. Этот легендарный персонаж стал любимым героем наследника престола. В восемнадцать лет, получив власть, Людвиг почти все свое время и средства тратил на строительство замков. Он построил три замка: Нойшванштайн, Линдерхоф и Херенкимзее. Но самое замечательное творение, безусловно, — Нойшванштайн. Еще отец Людвига Максимилиан II намеревался восстановить и реставрировать полуразрушенный старый замок Шванштайн — Лебединый Камень, родовое гнездо рыцарей Швангау, от которых берет свое начало династия баварских королей Виттельсбахов и к которой принадлежали Максимилиан II и сам Людвиг.

После смерти отца Людвиг решил снести руины старого замка и построить новый. Поэтому несколько изменилось и название. Нойшванштайн — это Новый Лебединый Камень. Вот как описывал будущий замок сам Людвиг в письме композитору Рихарду Вагнеру: «Я решил перестроить старый замок. Архитектурный стиль его будет воспроизводить первозданные германские рыцарские замки. Расположение его — одно из самых прекрасных, которое можно найти. Замок будет священным и неприступным. Певческий зал, откуда открывается общий вид на замок, напомнит Вам сагу о Тангейзере, а внутренний двор и часовня — песню о Лоэнгрине. Это сооружение будет более величественным, чем нижний замок Охеншвангау.