Когда Карлу было 2 года, его отец, герцог Шлезвига Фридрих IV, погиб в ходе Северной войны. Датчане оккупировали принадлежащие ему земли, и Карл вместе с матерью был вынужден эмигрировать к родственникам в Швецию. Притязаниям Карла Фридриха на шведский престол после гибели дяди в 1718 году помешала королева Ульрика Элеонора, младшая сестра Карла XII. Мир шведов с датчанами в 1720 году похоронил надежду Карла на возвращение фамильных имений. Оставшись бедным родственником при шведском дворе, в 1721 году приехал в Россию, где женился на дочери Петра Великого Анне Петровне, после смерти Петра I был одним из членов Верховного тайного совета.
Вернулся в Голштинию в 1727 году, где в Киле родился его сын Карл Петер Ульрих — будущий император Пётр III.