Отец Клюге, немецкий инженер, скончалася в 1922 году, когда сыну было всего 8 лет. После этого мать с сыном эмигрировали в США. Они обосновались в Детройте, где Клюге работал на конвейере завода Форда. Затем он отправился в Нью-Йорк, в Колумбийский Университет, где изучал экономику, а на жизнь зарабатывал продажей обуви и секретарской работой. Но самой доходной в то время была для него побочная «специальность» – картежника. К 1937 году, когда он получил университетский диплом, игрой в покер он заработал примерно 7 тысяч долларов (примерно 70 тысяч в долларах 1990 года). Дух карточного азарта присущ Клюге и в бизнесе. «Риск доставляет мне наслаждение», – заявил он в 1987 году в интервью газете «Вашингтон пост». Он всегда шел по путинаибольшего сопротивления, строя свое состояние почти из ничего и выигрывая крупные ставки частенько вопреки советам финансовых консультантов.