В феврале 1909 года поступил на военную службу фанен-юнкером (кандидат в офицеры) в 26-й пехотный полк. В августе 1910 года произведён в лейтенанты.
С началом Первой мировой войны — на Западном фронте, командир взвода 26-го пехотного полка, с 26 августа 1914 года — батальонный адъютант в том же полку. 20 сентября 1914 года — тяжело ранен, ампутирована левая рука. Награждён Железным крестом 2-й степени. В феврале 1915 года произведён в обер-лейтенанты.
В декабре 1915 года вернулся на Западный фронт, с января 1916 года — командир роты 26-го пехотного полка. Награждён Железным крестом 1-й степени.
С ноября 1916 по июнь 1917 года — полковой адъютант 26-го пехотного полка. С июня 1917 по январь 1918 года — командир батальона в том же полку. Награждён Рыцарским крестом Гогенцоллерна. В январе 1918 года произведён в капитаны.
В апреле 1918 года, будучи офицером штаба 7-й пехотной дивизии, во время отражения танковой атаки отравлен газом, в госпитале по апрель 1919 года.
Выйдя из госпиталя, с апреля 1919 года Хубе был командиром роты в различных частях рейхсвера.
В 1925—1928 годах — на штабных должностях. В 1928—1932 годах — преподаватель в пехотном училище (Дрезден). С 1931 года — майор. В 1932—1934 годах командовал батальоном 3-го пехотного полка. С 1934 года — подполковник.
С января 1935 по октябрь 1939 года — начальник пехотного учебного центра (Дёбериц). Написал двухтомное учебное пособие «Пехотинец». С августа 1936 года — полковник.
18 октября 1939 года полковник Хубе назначен командиром 3-й пехотной дивизии (Западный фронт). 1 июня 1940 года произведён в генерал-майоры. 4 июня 1940 года назначен командиром 16-й пехотной дивизии (армейский резерв на Западном фронте). В августе 1940 года дивизия переформирована в 16-ю танковую.
В составе группы армий «Юг» 16-я танковая дивизия под командованием генерал-майора Хубе участвовала в операции «Барбаросса» (война против СССР) — в районе Дубно, Житомир, Умань, Киев, Таганрог.
1 августа 1941 года награждён Рыцарским крестом. В январе 1942 года — награждён Дубовыми листьями (№ 62) к Рыцарскому кресту.
В 1942 году 16-я танковая дивизия воевала в районе Харьков, Сталинград. С апреля 1942 года — Хубе в звании генерал-лейтенанта.
С сентября 1942 года — командующий 14-м танковым корпусом. С ноября 1942 года — в звании генерала танковых войск. В декабре 1942 года награждён Мечами (№ 22) к Рыцарскому кресту с Дубовыми листьями. По приказу фюрера в январе 1943 года Хубе покинул Сталинградский котёл на самолёте.
В марте 1943 года Хубе вновь формирует 14-й танковый корпус во Франции. В июне 1943 корпус направляется в Италию.
В июле—августе 1943 года, во время высадки американских и британских войск в Сицилии, Хубе командует там всеми сухопутными силами.
17 августа 1943 года Хубе отозван в командный резерв, в распоряжение верховного командования сухопутных сил (ОКХ).
15 октября 1943 года Хубе назначен командующим 1-й танковой армией (южный участок Восточного фронта).
27 марта 1944 года 1-я танковая армия была окружена в районе Каменец-Подольска, однако 15 апреля 1944 года смогла выйти из окружения.
20 апреля 1944 года Хубе был произведён в генерал-полковники и награждён Бриллиантами (№ 13) к Рыцарскому кресту с Дубовыми листьями и Мечами, а на следующий день он погиб в авиакатастрофе во время полёта в Берлин.