Его окликали, за ним гнались, в него даже стреляли, и дважды он был задержан и обвинён в шпионаже в пользу южан. Только вмешательство генерала Скотта спасло ему жизнь и позволило продолжить путь. Незапланированные мытарства разведчика закончились, когда он попал в руки кавалерийского разъезда южан. Весёлые кавалеристы усадили фотографа с его громоздким грузом на запасную лошадь и доставили в штаб. Никто не догадался обыскать его, иначе двести долларов золотом, которые имел при себе бедный фотограф, могли бы стоить ему жизни.

Разведчика на пару дней посадили под замок, быстро провели поверхностное следствие и выпустили. Но разбитной и весёлый малый настолько понравился наивным южанам, что они сделали его своего рода придворным фотографом. Его приглашали в самые высокие инстанции. В Ричмонде с ним беседовали и позволили «увековечить» себя сам президент южных штатов Джефферсон Дэвис и вице-президент Александр Стивенс. С ним беседовали и его допрашивали генерал Пьер Борегар, тогдашний главнокомандующий южан. Бэкер вполне «откровенно» передавал южанам те сведения, которые собрал во время своего пребывания в Вашингтоне. Руководители южан были весьма довольны полученной от него информацией о положении на Севере, и сами, в порыве откровенности, иногда выбалтывали то, что в разговоре с более уважаемой особой никогда бы себе не позволили. Кем был для них Бэкер, несмотря на свою экзотическую профессию? Такой же ничтожной личностью, как странствующие актёры, музыканты, шуты и фокусники, которых можно не стесняться. Но, так или иначе, первое время он находился под подозрением и фактически под арестом. Ночевать ему зачастую приходилось в тюрьмах и караульных помещениях, а в Ричмонде сам начальник конной полиции держал его под замком.

Постепенно к Лафайету стали относиться с бо́льшим доверием, и ему удалось начать разведывательную деятельность. Он побывал во всех полках южан, находившихся в Вирджинии, «снимая» панораму каждого полка и во время обеда, и на строевых занятиях, и на спортивных площадках. «Сфотографировал» штаб бригады, обещая молодым офицерам и генералам великолепные снимки.