Карл Альбрехт приходился внуком великому курфюрсту Фридриху-Вильгельму. Он отличился во время Первой Силезской и Семилетней войн. Карл Альбрехт пользовался неограниченным доверием Фридриха II, короля Пруссии.