Все было бы очень хорошо, если бы короля не вздумал навестить его старый нормандский друг — граф Юстас из Булони. Возвращаясь домой из Англии, Юстас остановился в Дувре с группой своих вооруженных людей, где потребовал поселить его в гостинице. Хозяин не пожелал пустить иностранцев, и его избили. Он выхватил меч. В последовавшей стычке погибло много людей с обеих сторон.

Когда весть об этом дошла до Эдуарда, он был очень разгневан, что на его друзей напали в его королевства. Наказать Дувр должен был Годвин, поскольку город находился в его графстве. Однако Годвин считал, что англичане имеют право защищаться и что на них напали первыми. Он отказался наказывать Дувр. Рассерженный король вновь обвинил Годвина в причастности к заговору многолетней давности, когда погиб брат Годвина. Гарольд пытался взять на себя роль миротворца и посредника в переговорах, однако ни Эдуард, ни Годвин не хотели уступать, и ссора все разрасталась.

Эдит с детьми удалилась в деревню. Гарольд, его отец и братья во главе войска направились для переговоров в Лондон. Дело едва не дошло до гражданской войны, когда они встретились с королем на Темзе. Но тут вмешался совет старейшин. Некоторые графы отказались воевать, заявив, что не намерены проливать кровь своих соотечественников.

В конце концов было решено, что Дувр наказывать не будут, но Эдуард выслал Годвина и его сыновей из Англии.

Эдит не поехала с Гарольдом в ссылку, потому что он обещал скоро вернуться. Гарольда поразило послание от короля. Эдуард хотел, чтобы Фаллон оставалась у него.

— Он ее не получит! — с горячностью воскликнул Гарольд в присутствии жены и отца. — Где это видано: он изгоняет нас и в то же время хочет, чтобы с ним оставалась моя дочь.