После окончания курсов подготовки к университету (Abitur), Герберт Крёмер приступает к изучению физики в Йенском университете, где помимо прочего посещал лекции Фридриха Гунда. Во время действия блокады Берлина Крёмер находился на практике в Берлине и воспользовался возможностью для побега на запад. После этого он продолжил обучение в Гёттингенском университете. В 1952 году он защитил диссертацию в области теоретической физики по теме эффекта горячих электронов в транзисторах. После этого Крёмер работал в качестве "прикладного теоретика", как он сам себя называл, в техническом центре радиовещания немецкой федеральной почты. В 1954 году он переехал в США и работал там в различных исследовательских учреждениях в Принстоне и Пало Альто. С 1968 по 1976 год Крёмер преподаёт в университете Колорадо в качестве профессора, а затем перешёл в Калифорнийский университет в Санта-Барбаре.
Герберт Крёмер никогда не работал в «модных» областях физики. Он предпочитал области, значение которых становилось ясным только спустя много лет. Например, он опубликовал в 1950-х годах работы об основах биполярного транзистора на основе гетероструктур, который мог работать в гигагерцовом диапазоне частот. В 1963 году он разработал принципы лазеров на двойных гетероструктурах — основе полупроводниковых лазеров. Обе эти работы на много лет опередили своё время, и нашли применение только в 1980-х годах, с развитием эпитаксии.
Во время пребывания в Санта Барбаре он сместил свои интересы в экспериментальную область. Например, в 1970-е годы Крёмер участвовал в разработке молекулярной эпитаксии, причём он изучал новые комбинации материалов, такие как GaP и GaAs на кремниевой подложке. После 1985 года интересы Крёмера сместились к комбинациям InAs, GaSb и AlSb.
В 2000 году ему была присуждена Нобелевская премия по физике, совместно с Жоресом Алфёровым и Джеком Килби.