Он был верным мужем, но иногда его чувства были готовы взбунтоваться. Почему, спрашивал он себя, из всех членов семьи я один должен соблюдать строгую мораль? Его братья... его сестра Каролина Матильда... Он вздрогнул, вспомнив о них. Бедная Каролина Матильда, которую он любил и хотел защитить, была сейчас мертва. Она попала в водоворот интриг, и он не был уверен в том, что она умерла естественной смертью. Выйдя замуж за практически слабоумного человека, она завела любовника и вместе с ним была обвинена в измене родине. Любовник погиб в мучениях, а она, королева Дании, едва не разделила его судьбу. Ее спасло лишь вмешательство любящего брата — короля Англии Георга Третьего. Его глубоко взволновала смерть Каролины Матильды. Такие события преследовали его в кошмарах. Бедная Каролина Матильда дорого заплатила за свои безумства.
С его братьями все было совсем иначе.
Уильям, герцог Глочестерский, и Генрих, герцог Камберлендский, не боялись публичных скандалов и дерзко пренебрегали общественным мнением. Однако они не вызывали и доли той ненависти и насмешек, которые обрушивались на короля, остававшегося примерным супругом.
Камберленд стал участником постыдного конфликта с Гросвенором, поскольку соблазнил леди Гросвенор. Глупец писал этой женщине письма, явственно свидетельствовавшие о характере их отношений. Георг помнил фразы из этих посланий, даже сейчас заставлявшие его лицо гореть от стыда и зависти. Там были подробные описания того, что «десятки тысяч раз происходило на ложе любви». Эти слова писал его брат, воспитанный их матерью. Ему никогда не позволяли общаться с посторонними из-за опасности подцепить инфекцию. Как только братья вырвались из-под опеки матери, они буквально обезумели и стали попадать в подобные скандалы. Лорд Гросвенор имел смелость подать в суд на герцога из королевской семьи и выиграть процесс. Герцога Камберлендского обязали выплатить возмещение в размере десяти тысяч фунтов, а также судебные издержки, составившие три тысячи фунтов. Георгу пришлось с помощью лорда Норта взять эту сумму из бюджета королевской семьи.