В начале Первой мировой войны 16-летний Кребс добровольцем воевал на Западном фронте. После войны он продолжил военную карьеру в рейхсвере.
В 1930 году, будучи капитаном, он был переведён в военное министерство в Берлин. В 30-х годах Кребс был некоторое время помощником германского военного атташе в СССР и проживал в Москве. Кребс хорошо говорил по-русски и лично знал многих высших военачальников СССР, в том числе Жукова. В 1939 году был произведён в подполковники, вскоре получил должность начальника штаба VII армейского корпуса.
В 1940 году получил звание полковника, в 1943 году стал генерал-лейтенантом. 29 марта 1945 года Кребс стал преемником Гудериана на посту начальника Генерального штаба сухопутных войск.
После самоубийства А.Гитлера, Кребс, по поручению Геббельса, 1 мая 1945 принимал участие в попытке установить перемирие с советскими войсками, штурмовавшими Берлин. В заключении мира ему было отказано. Советское командование настаивало на безоговорочной капитуляции. В этот же день Кребс застрелился.