Родился 24 января 1898 года в Карлсбаде в семье учителя. Изучал право в Пражском университете, однако в конце Первой мировой войны был рекрутирован в Австро-Венгерскую армию, участвовал в Первой мировой войне.
После войны работает бухгалтером. В то же время принимает активное участие в деятельности правосторонних судетских организаций (например, Kameradschaftsbund). Имея крайне радикальные взгляды и являясь решительным сторонником присоединения Судетской области к Германии, в 1919 присоединяется к Судетской национал-социалистической рабочей партии (DNSAP) и открывает книжный магазин, просуществовавший вплоть до 1933 года, в котором распространяет пропагандистскую нацистскую литературу. После того, как партия была подавлена Чехословацким правительством, начинает активное сотрудничество с абвером и СД и помогает в организации Германского патриотического фронта в 1933, в 1935 ставшего Судетской нацистской партией (СДП). C 1933 — глава пропаганды Судетской нацистской партии. C 1935 — депутат Пражского парламента. 1 октября 1938 организовал митинг в Остраве, который считался оплотом коммунистов. Митинг закончился стычкой с полицией, во время которой был избит депутат от Судетской немецкой партии, что стало одним из поводов вмешательства Германии в дела Чехословакии.
После присоединения Чехословакии к Германии в октябре 1938 получает пост заместителя гауляйтера Судетской области. Благодаря своей активной деятельности обращает на себя внимание Генриха Гиммлера, который назначает Франка Бригадефюрером СС в ноябре 1938 (билет № 310 466). Член НСДАП (билет № 6 600 002).
С 19 марта 1939 статс-секретарь Имперского Протектората Богемии и Моравии под руководством имперского протектора Константина фон Нейрата. В апреле 1939 избран депутатом Рейхстага. С 28 апреля 1939 высший руководитель СС и полиции в Праге. 9 ноября 1939 стал группенфюрером СС и генерал-лейтенантом полиции.
Несмотря на то, что протектором Богемии и Моравии являлся фон Нейрат, фактическая власть находилась в руках Карла Германа Франка. Он участвовал в разработке и осуществлении плана уничтожения чешских диссидентов и ареста Премьер-министра Богемии и Моравии Алоиса Элиаша (Alois Elias). Во многом благодаря деятельности Франка по дискредитации фон Нейрата, в сентябре 1941 году он был отстранён от должности. Место заместителя (исполняющего обязанности) протектора Богемии и Моравии занял Рейнхард Гейдрих. Первоначально отношения Франка и Гейдриха были достаточно напряжёнными, но впоследствии они преодолели разногласия ради эффективности совместной деятельности в Протекторате.
После покушения на Гейдриха 27 мая 1942 года, Франк руководит операцией возмездия: под его руководством были уничтожены чешские деревни Лидице и Лежаки, казнено 1357 и арестовано 3188 человек. Место имперского протектора получает Курт Далюге. Франк сосредотачивает в своих руках ещё больше власти и к моменту назначения Вильгельма Фрика Протектором Богемии и Моравии становится самым влиятельным политиком на территории Протектората. В июне 1943 получает должность Обергруппенфюрера СС, а в августе 1943 становится государственным министром по делам имперского Протектората Богемии и Моравии. Власть в Протекторате фактически принадлежала Франку.
В марте 1945 года власть Франка постепенно начинает ослабевать. В конце апреля 1945 он предпринял неудачную попытку передать власть марионеточному правительству и объявить о создании Чешско-Моравской республики. С 30 апреля на 1 мая 1945 года, накануне Пражского восстания, Карл Герман Франк объявляет по радио, что "утопит любое восстание в «море крови». Однако позднее, когда новость о входе Советских войск на территорию Чехословакии достигла Праги, люди высыпали на улицы, чтобы приветствовать победителей. Франк отдал приказ очистить улицы и стрелять в каждого, кто откажется повиноваться.
9 мая 1945 года Франк был арестован частями 7-й американской армии. 7 августа 1945 был передан Чешским властям. В марте-апреле 1946 года обвинён Чехословацким чрезвычайным народным судом в смерти 4000 человек (в том числе — из деревень Лидице и Лежаки), объявлен военным преступником. 21 мая 1946 приговорён к смертной казни через повешение. Приговор был приведён в исполнение 22 мая 1946 года на глазах у 5000 собравшихся. Похоронен в безымянной могиле в Праге.
Карл Герман Франк был женат дважды. Первой его супругой была Анна Мюллер (Anna M?ller, род. 5 января 1899 в Карсбаде), с которой у него было двое сыновей — Гарольд (Harald, род. 20 января 1926) и Герхард (Gerhard, род. 22 апреля 1931). Пара развелась 17 февраля 1940 года, а уже 14 апреля 1940 Карл Гермен Франк женился вновь — на докторе Кароле Блашек (Karola Blaschek, род. 13 августа 1913). У них было трое детей: дочь Эдда (Edda, род. 16 августа 1941), сын Вольф-Дитрих (Wolf-Dietrich, род. 20 августа 1942) и дочь Холле-Сигрид (Holle-Sigrid, род. 8 марта 1944). После войны доктор Карола Блашек с детьми находилась в тюрьме до 1956 года.