К концу 30-х Багси стал одним из самых влиятельных людей в Калифорнии. Достаточно упомянуть такой факт. Когда в сентябре 1939 года его попытались отправить за решетку по обвинению в оскорблении властей, в защиту Сигела выступили самые известные кинозвезды, что позволило ему уже через пять дней оказаться на свободе. Он контролировал азартные игры в Редондо-Бич, тотализаторы на скачках в Агуа-Кальенте, на бегах в Кальверт-Сити. Владел целой флотилией прогулочных яхт, на которых действовали плавающие казино. Они стояли на якоре недалеко от Лос-Анджелеса, не пересекая границы территориальных вод, где действовали законы, запрещающие азартные игры. На специальных катерах люди Сигела доставляли желающих поиграть в рулетку на эти яхты и потом отвозили обратно.

Будучи с детства преданным бойцом мафии, Сигел в то же время сохранял в душе романтические идеалы. Сами гангстеры говорили, что главное для него не деньги, а идея. К примеру, именно Багси пришла в голову мысль построить в самом центре пустыни Невада роскошное казино "Фламинго". Боссы мафии были против этой затеи, считая ее изначально провальной: мол, какой дурак поедет в такую глушь? Но Сигел сумел очаровать своих соратников грандиозным проектом строительства в пустыне не только одного казино, но целого города, этакой Мекки игорного бизнеса. Он взял у мафии под строительство "Фламинго" 1 миллион долларов, но по ходу дела затраты выросли до 6 миллионов. В Рождество 26 декабря 1946 года казино "Фламинго" распахнуло двери. Но затея провалилась - людей на открытие приехало немного да еще в разгар торжества во всем комплексе внезапно вырубился свет. Багси перенес открытие на более поздний срок. Но сам он этого события уже не дождался. Выражаясь языком мафии: "погорел из-за бабы".

Багси влюбился в очередную красотку - второразрядную певичку и актрису Вирджинию Хилл. В свое время в ее любовниках перебывало десятка три мужчин, среди которых были: всесильный магнат Крупп, ударник из ее оркестра, два испанских тореодора и другие.