В 1858 году он вновь объявился для того, чтобы перевезти своих жену и дочь в соседний округ Перри, штат Арканзас. Но вскоре его жена умерла и дочь осталась на попечении деда, проживавшего в округе Салфер. Сам Бейкер никогда не обременял себя отцовскими обязанностями, а теперь и вовсе стал свободным, как ветер. В 1860 году в пьяной драке ударом кинжала он убил еще одного человека — мистера Уортхэма.

В Гражданскую войну 1861–1865 годов Бейкер воевал на стороне Юга (конфедераты), но дисциплина действовала на него угнетающе, и вскоре он дезертировал из армии и поселился в Спэниш-Блаффсе. Весной 1864 года в городок вошла негритянская часть северян, которая занималась вылавливанием дезертиров из армии конфедератов.

Когда солдаты вошли в город, Бейкер находился в салуне и ни о чем не подозревал. Потягивая виски, он стоял у стойки бара, и в эту минуту в заведение вошли четверо солдат. Увидев на Бейкере потрепанный мундир конфедерата, они направились к нему.

— Кто вы такой? — спросил сержант, когда они подошли к стойке, и это было последнее, что он успел сказать в своей жизни.

Рука Бейкера молниеносно скользнула к кобуре, и в следующую секунду кольт 44-го калибра извергнул четыре пули. Каждая из них попала точно в цель, и все четверо были убиты на месте, а Бейкер спешно покинул пределы городка.

Отныне у ставшего врагом обеих воюющих сторон Бейкера был один путь в бандиты. Осенью 1864 года он сколотил банду и занялся грабежами в Восточном Техасе. Так продолжалось до конца 1865 года, когда он на время "завязал".

В январе 1866 года Бейкер с новой женой Мартой осел в Лайн-Ферри и занялся речным перевозом. О былых бандитских делах ему никто не напоминал. Но так продолжалось недолго. Бейкер был плохо приспособлен к размеренной гражданской жизни, и его руки постоянно тянулись к револьверу. В конце концов он вноь совершил убийство.