Но снимки так и не были проявлены и отданы клиентам. Сначала решили, что он просто жулик, которого следовало, по тогдашним обычаям, вываляв в дёгте и куриных перьях, выгнать на все четыре стороны. Однако контрразведчики в городке Фредериксберге оказались более прозорливыми. Его прямо обвинили в шпионаже и заключили в тюрьму. Дожидаться военного суда, исход которого для него был ясен, Бэкер не стал. На остатки своих денег он приобрёл кое-какой инструмент, взломал ветхую дверь камеры и скрылся. На память у южан остались его аппарат со штативом и ощущение того, что над ними жестоко подсмеялись.

Пробираясь по ночам, Лафайет достиг линии фронта, где «сдался» федеральным войскам. Он был доставлен к самому генералу Скотту, который вместе с офицерами его штаба выслушал обстоятельный доклад разведчика. Генерал был настолько поражён наблюдательностью, памятью и аналитическим складом ума Лафайета, что назначил его начальником военной полиции. Впоследствии Бэкер был произведён в бригадные генералы и руководил как разведкой, так и контрразведкой северян.

Один из агентов Бэкера, имя которого так и осталось неизвестным, сумел проникнуть в штаб южан в Ричмонде. Уже через две недели он явился к Бэкеру с письмом президента Джефферсона Дэвиса на имя Климента Клэя, эмиссара Конфедерации в Канаде. Конверт пропустили невскрытым, так как агент предупредил, что в нём содержится только рекомендательное письмо, лично написанное и запечатанное Дэвисом. После благополучного обмена письмами агент стал постоянным курьером на канале Ричмонд — Канада. Но теперь все письма, которые он провозил, прочитывались службой Бэкера. При этом специалисты пользовались бумагой и печатями подлинных пакетов, для чего в Англии закупали бумагу такую же, как та, которой пользовался в Канаде Клэй.