Замок Уоллингфорд был основан в период нашествия норманнов во главе с Вильгельмом Завоевателем, ставшим в 1066 году королем Англии. Построенный по его приказу замок был окружен внешним рвом и деревянным частоколом. Земля из рва была использована для создания удобного подхода к реке. По центру огороженной территории проходил еще один ров, а за ним поднимался второй частокол с деревянной сторожевой башней. Получив во владение эти земли, Бриан Фитц заменил дерево на камень и едва не разорился. Замок теперь был огорожен внешней стеной высотой в восемнадцать футов, оборудованной сторожками у ворот, ступенями на внутренней стороне и пятью башнями, одна из которых оставалась пока не достроенной. Все сооружение выглядело достаточно внушительно и могло заставить призадуматься любого, кто решил бы атаковать эту цитадель. Квадратная каменная башня высотой сорок футов стояла на мощной насыпи и служила главным укреплением замка. Ров был постоянно наполнен водой – рядом с Темзой с ней проблем не было.

Уоллингфорд отнюдь не относился к числу значительных замков в Англии, однако уже в хрониках тех времен он был описан как неприступный. Посещавшие его бароны-соседи уезжали потрясенные, с вытаращенными от изумления глазами, и многие из них начинали строить свои укрепленные замки по типу уоллингфордского.

Цитадель была завершена всего четыре года назад, но дожди и летающие семена сделали свое дело, придав ее фасаду почтенный вид. Внутри же башня выглядела чуть ли не древней – стены ее закоптились от открытого огня в очагах, полы вытерлись, двери разболтались, просели и едва закрывались. Замок жил полноценной жизнью, и это чувствовалось даже в запахах, рассеянных в воздухе. Бриан Фитц и его жена Элиза не относились к тем богатым вельможам, которые годами не посещали свои многочисленные владения. Уоллингфорд король Англии подарил бедному, да еще и внебрачному отпрыску графа Алана Железная Перчатка, а подобными дарами пренебрегать всегда опасно. Однако Бриан оказался достойным, хоть и не законным сыном своего отца, с такой же крепкой хваткой.