В апреле 1933 года поступил на службу в ВМФ. 1 июля 1934 года произведён в фенрихи, 1 октября 1936 года — в лейтенанты. В середине 1935 года перешёл в морскую авиацию, получил подготовку лётчика-наблюдателя, а затем и пилота истребительной авиации.
В мае 1939 года самолёт Хардегена потерпел крушение. После длительного лечения от полученных ранений (от последствий которых страдал на протяжении всей дальнейшей жизни) в ноябре 1939 года он был переведён в подводный флот.
Начал службу на подводной лодке U-124 под командованием Георга-Вильгельма Шульца.
11 декабря 1940 года назначен командиром подлодки U-147. Совершил на ней только один боевой поход, продолжавшийся 19 суток, в ходе которого потопил норвежский корабль «Аугвальд» водоизмещением 4811 брт.
19 мая 1941 года получил подлодку U-123 (ранее ею командовал Карл-Гейнц Мёле), на которой совершил 4 похода, проведя в море в общей сложности 221 сутки.
В первом походе к берегам Западной Африки Хардеген потопил 5 судов общим водоизмещением 21507 брт.
В октябре 1941 года торпедировал британский вспомогательный крейсер «Аурания» (13984 брт), однако тому удалось остаться наплаву и добраться до порта.
В конце 1941 — начале 1942 года участвовал в проведении операции «Паукеншлаг», в ходе которой, действуя на коммуникациях близ берегов США, Хардеген в течение 2 недель потопил 9 судов общим водоизмещением 53173 брт, в том числе 12 января 1942 года потопил в канадских территориальных водах британский корабль «Циклоп».
став одним из наиболее результативных участников операции, Хардеген 23 января 1942 года был награждён Рыцарским крестом Железного креста.
Во время следующего похода (вновь к берегам США) Хардеген потопил 10 судов общим водоизмещением 57170 брт, за что 23 апреля 1942 года получил дубовые листья к Рыцарскому кресту.
В мае 1942 года U-123 вернулась в Киль, а 31 июля Хардеген сдал командование кораблём и был назначен инструктором 27-й флотилии подводных лодок.
В марте 1943 года был назначен начальником подготовки подводников в торпедной школе в Мюрвике. Затем служил в управлении торпедного вооружения ОКМ, а в феврале 1945 года принял командование 1-м батальоном 6-го морского пехотного полка, участвовавшего в тяжёлых оборонительных боях на севере Германии.
Всего за время военных действий Хардеген потопил 25 судов общим водоизмещением 136661 брт и повредил 5 судов водоизмещением 46500 брт.
В мае 1945 года интернирован британскими войсками. В ноябре 1946 года освобождён.
После войны успешно занимался бизнесом, вступил в ХДС а затем был избран членом Бундестага от Бремена и оставался депутатом на протяжении 32 лет.