Поступил на военную службу в сентябре 1909 фанен-юнкером (кандидат в офицеры) в 56-й пехотный полк. В марте 1911 — произведён в лейтенанты.
В ноябре 1914 — январе 1915 командовал ротой 56-го пехотного полка. Награждён Железным крестом 2-й степени. С января 1915 по ноябрь 1917 — полковой адъютант 56-го пехотного полка. С апреля 1915 — старший лейтенант. Награждён Железным крестом 1-й степени. В январе 1918 — ранен. Затем служил в штабе 2-й дивизии морской пехоты. С апреля 1918 — капитан.
После войны продолжил службу в рейхсвере. С 1922 — в автотранспортном батальоне. С февраля 1928 по апрель 1931 — в военном министерстве в инспекции транспортных войск.
В апреле 1931 — произведён в майоры и официально уволен с военной службы, поскольку с мая 1931 до октября 1933 руководил в СССР военным учебным центром в Казани (так называемая школа «Кама», где немецкие инструкторы, формально — бывшие офицеры, обучали советских курсантов использованию боевых машин).
С ноября 1933 — вновь на военной службе в германской армии, в учебном центре транспортных войск (Цоссен). С августа 1934 — подполковник.
С октября 1935 — командир 3-го танкового полка (с января 1937 — полковник). Участвовал в оккупации Судетской области и Чехии-Моравии, награждён двумя медалями.
С августа 1939 — командир 1-й танковой бригады.
Командуя 1-й танковой бригадой, участвовал в Польской кампании. Награждён планками к Железным крестам обеих степеней (повторное награждение). С 30 августа 1940 — генерал-майор.
В октябре 1940 принял командование 2-й моторизованной дивизией, которая под его руководством была в январе 1941 переформирована в 12-ю танковую дивизию.
Во время операции «Барбаросса» 12-я танковая дивизия наступала на Минск, Смоленск в составе группы армий «Центр», с сентября 1941 — на Ленинград в составе группы армий «Север». В августе 1941 — Харпе награждён Рыцарским крестом. В декабре 1941 — награждён Дубовыми Листьями (№ 55) к Рыцарскому кресту.
В январе 1942 произведён в генерал-лейтенанты, назначен командующим 41-м танковым корпусом. В июне 1942 произведён в генералы танковых войск. В феврале 1943 награждён Золотым немецким крестом, в сентябре 1943 — Мечами (№ 36) к Рыцарскому кресту с Дубовыми Листьями.
С ноября 1943 - командующий 9-й армией. В мае 1944 - произведен в генерал-полковники и назначен командующим 4-й танковой армии. В сентябре 1944 - возглавил группу армий «Северная Украина» (переименована в группу армий «А»).
17 января 1945 снят с должности и отправлен в резерв командования сухопутных сил после прорыва советских войск в ходе Висло-Одерской операции. С 9 марта 1945 - командующий 5-й танковой армией на Западном фронте, 17 апреля 1945 — взят в американский плен. До 14 апреля 1948 находился в лагере для военнопленных.