Родился в Дармштадте. Сын советника суда. В апреле 1917 года добровольцем вступил в армию. Участник Первой мировой войны, лейтенант. За боевые отличия награждён Железным крестом 1-го и 2-го класса. В 1920 году демобилизован, работал в банках и торговых фирмах во Франкфурте-на-Майне. В 1923 году женился на дочери крупного промышленника фон Рентхелда и основал собственную торгово-адвокатскую контору «Карл Вольф — фон Рентхелд».
7 октября 1931 года вступил в НСДАП (партбилет № 695 131) и СС (билет № 14 235). 18 февраля 1932 года получил звание штурмфюрера СС. В марте 1933 года Карл Вольф стал адъютантом премьер-министра Баварии генерала Франца фон Эппа. С июня 1933 года адъютант, а с 1935 года шеф-адъютант рейхсфюрера СС Генриха Гиммлера. Играл важную роль в аресте многих руководителей СА во время «Ночи длинных ножей» 30 июня 1934 года. В апреле 1936 года избран депутатом рейхстага от Гессена. 9 ноября 1936 года после создания Личного штаба рейхсфюрера СС стал его начальником. Участвовал в создании СС, ближайший соратник и наиболее доверенное лицо Гиммлера. Один из авторов символики и идеологии СС. С 1939 года одновременно являлся личным представителем Гиммлера в ставке Гитлера. Сопровождал Гиммлера во всех его поездках, в том числе и в концентрационные лагеря. В 1942 году по личному поручению рейхсфюрера СС осуществлял руководство перевозкой неблагонадёжного населения и евреев из Варшавы в лагерь уничтожения Треблинка (всего по его приказу было уничтожено около 300 000 человек).
С 18 февраля 1943 года верховный руководитель СС и полиции в Вероне (Северная Италия). С 23 сентября 1943 года верховный руководитель СС и полиции Италии, с 26 июля 1944 года одновременно уполномоченный вермахта при правительстве Итальянской социальной республики. По поручению Гиммлера и Шелленберга установил контакт с американцами через посредство Папы Римского Пия XII. 8 марта 1945 года встретился в Асконе (Швейцария) с группой американских представителей во главе с Даллесом, с которым обсудил вопрос о капитуляции итальянской армии; после этой встречи имели место ещё несколько встреч в Цюрихе. 12 марта Вашингтон официально уведомил Москву о ведущихся переговорах; Сталин потребовал допуска к переговорам советских представителей, но получил отказ (как объяснял впоследствии посол США в СССР Гарриман, американцы опасались, что советские представители сорвут переговоры, ставя невыполнимые условия). Слухи о переговорах Карла Вольфа дошли до Бормана, который предпринял попытку использовать их в своей игре против Гиммлера. Однако Гиммлер и Шелленберг успели предотвратить срыв переговоров.
Во время переговоров постоянно находился под давлением Гиммлера и Кальтенбруннера — с одной стороны и Аллена Даллеса с другой. Американцы выражали сомнение в полномочиях К.Вольфа и в способности СС организовать капитуляцию немецких войск в Италии, находящихся в подчинении армейского командования (фельдмаршал Алберт Кессельринг). Вольфа неоднократно отзывали в Берлин, где от него требовали полной отчетности о переговорах. Однако открыть все детали переговоров отказался, так как в случае неудачи подпал бы под обвинение в государственной измене. Например, для подтверждения своих полномочий и намерений, он представил союзникам в Швейцарии карты дислокации немецких войск в Италии, что значительно облегчало американцам планы дальнейшего наступления на Апенинах.
Лишь 24 апреля 1945 года, после начала успешного начала наступления союзников в Италии, Карл Вольф получил полномочия на заключение перемирия. 29 апреля 1945 года вместе с Фитингхофом подписал условия капитуляции германских войск в Италии. В итоге испортил отношения с Гиммлером, но сохранил доверие к себе Гитлера.
После капитуляции и оккупации Германии союзниками, Вольф от оккупационных властей не скрывался, так как расчитывал на компенсацию со стороны победителей. Еще в начале переговоров в Швейцарии он дал понять союзникам, что в будущем правительстве Германии расчитывает на пост министра внутренних дел. Однако вскоре был интернирован американскими войсками и в 1946 году приговорён германским судом к 4 годам трудовых лагерей. В 1949 году освобождён. Несмотря на известные потери, Вольф к 50-ым годам ХХ-го века достиг того же уровня личного благосостояния, который был у него в лучшие годы его СС-карьеры.
Как считает историк исследователь из Гарвардского университета профессор Ричард Брайтман, наградой Вольфу за участие в переговорах в Швейцарии со стороны А. Даллеса было сохранение Вольфу жизни. Более справедливым было бы посадить Карла Вольфа как военного преступника на скамью подсудимых Нюрнбергского процесса рядом с его шефом Кальтенбруннером. Для этого у американцев были все основания. Однако в таком случае Вольф бы заговорил и его версия истории переговоров и капитуляции в Италии существенно бы отличалась от версии Аллена Даллеса, которая длительное время считалась основной и авторитетной. Кроме того, потенциальные признания Вольфа серьёзно бы подорвали авторитет Управления стратегических служб и создаваемое на его базе ЦРУ, а также нанесли урон всему комлексу союзнических отношений.
Лишь после отставки А. Даллеса с поста директора ЦРУ в 1961 году Карл Вольф был вновь арестован теперь уже немецкими властями по обвинению в содействии убийству около 300 000 евреев (депортация их в Треблинку). Карл Вольф отрицал свое участие в Холокосте и ссылался на забывчивость. Однако 30 сентября 1964 года был приговорён к 15 годам тюремного заключения. В 1971 году освобождён по состоянию здоровья.
Скончался Карл Вольф 15 июля 1984 года в Розенхайме в Баварии, похоронен в Прин-ам-Кимзее.
По свидетельству советского писателя Юлиана Семёнова (автора «Семнадцати мгновений весны») в послесловии к циклу «Позиция» пишет: «Самого Карла Вольфа, обергруппенфюрера СС, начальника личного штаба Гиммлера, я не так давно разыскал в ФРГ, — вполне бодрый восьмидесятилетний нацист, ни в чём не отступивший от былых принципов расизма, антикоммунизма и антисоветизма: „Да, я был, есть и остаюсь верным паладином Фюрера“».