Начавшаяся эвакуация вызвала в Булони панику обезумевшего от бомбардировок населения. Слабые действия гарнизона были усугублены дезертирством. С 17 мая англичане стали вывозить свои части, что вызвало кривотолки. Никто точно ничего не знал. Поздно вечером 20 мая поступило сообщение: "Держитесь, они идут!"

Множество офицеров без солдат заполнили цитадель — замок д'Омон, где находился командный пункт сектора. Начальник сектора думал обороняться, но в 02:00 21 мая появился генерал, который знал обстановку, в частности, что вечером накануне в районе Эдена появилась 8-я танковая дивизия немцев. Он сказал, что противник уже достиг Абвиля. Такая информация заставила начальника сектора отдать приказ об эвакуации. Поскольку средства связи были разрушены, возник большой беспорядок. Все военные сооружения были покинуты.

В Дюнкерке с большим удивлением узнали об этой новости. Морской префект в Шербуре отказался ей верить. Он информировал адмиралтейство. Адмирал Дарлан в бешенстве обвинил начальника сектора Булонь в измене и передал его морскому трибуналу в Шербуре, который приговорил его к двадцати годам каторги. Он находился как раз в той ситуации, которая была предусмотрена телеграммой от 20 мая, что эвакуация разрешена только в случае отсутствия войскового прикрытия. А он проигнорировал тот факт, что значительные силы союзников как раз в это время отходили на Булонь.

Из Дюнкерка адмирал Абриаль направил в Булонь своего начальника штаба адмирала Леклерка в сопровождении капитана 1 ранга Лемонье с приказом организовать оборону. Они обнаружили, что капитан 2 ранга Номи занялся реорганизацией сектора. Затем прибыл новый начальник сектора капитан 1 ранга де Летранж, бывший ранее начальником штаба сектора Шербур. Свой командный пункт он развернул в башне д'Одр. Из Дюнкерка пришел приказ держаться.