Будучи в Риме, женился в 1793 г. на католичке Августе Мюррей, дочери шотландского графа Думмор. Хотя герцог Сассекский отказался от всех наследственных прав, Георг III объявил этот брак незаконным на основании фамильного закона английской династии. Несколько лет спустя Сассекс разошёлся со своей женой.
В палате лордов он в основном примыкал к оппозиционной партии и подавал голос за эмансипацию католиков, уничтожение невольничества, парламентскую реформу и т. д. Герцог Сассекский собрал богатую библиотеку, в особенности по изданиям и переводам Библии и рукописям; эту библиотеку описал Th. Jos. Pettigrew (Лондон, 1827). В 1831 г. Август Фредерик вновь женился без королевского согласия на леди Цецилии Баггинс (Андервуд), дочери ирландского графа Арран, которой в 1840 г. пожалован был титул герцогини Инвернес.
Крупный масонский деятель, в 1813—1843 Великий Мастер Объединённой Великой Ложи Англии.