Родился в небольшом курортном городе Гандерсгейме в горах Гарца, был четвёртым сыном в семье фабриканта. В 1910 году поступил в Прусский королевский корпус в Бенсбергене близ города Кёльн, весной 1914 года был переведён в Гросс-Лихтерфельдский кадетский корпус (Берлин). Был произведён в фенрихи (прапорщики) 30-го (2-го Баденского) полка полевой артиллерии, расквартированного в Раштатте.
После начала Первой мировой войны был переведён во вновь созданный 55-й резервный полк полевой артиллерии, с которым в декабре 1914 года был направлен на фронт. 27 января 1915 года был произведён в лейтенанты, после роспуска 55-го полка переведён в свой прежний полк. Командовал артиллерийским взводом, затем батареей, награждён Железным крестом 1-го и 2-го класса.
С 31 марта 1919 года обер-лейтенант. В том же году демобилизовался, работал в сельском хозяйстве, был управляющим и инспектором имения. С 1929 года занимался торговлей автомобилями. С 1 мая 1931 года — член НСДАП (№ 537 337).
После прихода нацистов к власти в 1933 году Гилле делал карьеру в штандарте СС в Брауншвейге, но, ввязавшись в интригу, связанную со смещением брауншвейгского правительства, был исключён 20 июля 1933 года из НСДАП и СС. Представ перед партийным судом, он добился отмены этого решения, и в 1934 году вступил в части усиления СС, на основе которых затем были созданы войска СС. В 1935 году женился на Софии Шарлотте Меннеке, в том же году родилась их единственная дочь.
С 17 мая 1935 года — командир роты во 2-м штандарте (полку) СС «Дойчланд». Пройдя обучение в пехотной школе в Дёберице, Гилле был назначен командиром 2-го батальона полка СС «Германия». Весной 1939 года ему было поручено сформировать артиллерийскую часть войск СС в Ютербоге, 1 июня 1939 года стал командиром вновь созданного дивизиона в составе первого артиллерийского полка войск СС.
В качестве командира дивизиона участвовал в боевых действиях в Польше и на Западном фронте. С 15 ноября 1940 года — командир 5-го артиллерийского полка СС в составе 5-й дивизии СС «Викинг» под командованием Феликса Штайнера. Принимал участие в боях на Восточном фронте, отличился в боях на реке Миус (на так называемом Миус-фронте), за что получил Германский крест в золоте. В качестве командира передового отряда участвовал во взятии Ростова-на-Дону в 1942 году и прорвался на Кубань, затем участвовал в трудных боях в районе Туапсе и в наступлении на Майкоп. 8 октября 1942 года был награждён Рыцарским крестом Железного креста.
Командовал артиллерией корпусной группой войск СС, которую в ноябре 1942 — январе 1943 года возглавлял Штайнер. Короткое время был временным командиром дивизии «Викинг» в период, когда она с трудом прикрывала южный фланг 4-й танковой армии и обеспечивала её отступление на Дон, который был достигнут дивизией 5 февраля 1943 года. После этого сдал командование дивизией вернувшемуся Штайнеру и исполнял обязанности его заместителя. Весной 1943 года участвовал в третьем сражении за Харьков.
1 мая 1943 года Гилле сменил Штайнера на посту командира дивизии «Викинг». Отличился в арьергардных боях после провалившего наступления немецких войск под Курском, что способствовало их упорядоченному отступлению. За эти действия 1 ноября 1943 года был награждён Дубовыми листьями к Рыцарскому Железному кресту. В октябре 1943 года руководил переформированием дивизии из моторизированной в танковую. Осенью 1943 года дивизия вела трудные оборонительные бои на Украине.
По словам российского историка Вольфганга Акунова,
В конце января — начале февраля 1944 года Гилле командовал своей дивизией во время боёв в окружении под Корсунем-Шевченковским — тогда в «котле» оказались 2 немецких армейских корпуса (11-й и 42-й) с 9-ю дивизиями, насчитывавшие в общей сложности 54 тысячи человек. Резко выступил против капитуляции, предложенной советским командованием, руководил прорывом немецких войск из окружения в ночь с 16 на 17 февраля 1944 года. Советская и западная историография оценивали результаты этих событий крайне противоречиво. В советской литературе утверждалось, что прорваться из окружения удалось двум-трём тысячам немецких военнослужащих, причём Гилле вёл себя недостойно. По словам Маршала Советского Союза Ивана Степановича Конева,
Западная историография (например, Niklas Zetterling, Anders Frankson. The Korsun Pocket: The Encirclement And Breakout Of A German Army In The East, 1944), напротив, считает, что из окружения удалось прорваться около 35 тысяч немецких военнослужащих, хотя тяжёлое вооружение пришлось оставить, а дивизия «Викинг» понесла очень большие потери. Кроме того, не подвергается сомнению тот факт (например, в книге Р. Батлера SS-Wiking. История пятой дивизии СС «Викинг». 1941—1945. — М., 2006), что Гилле лично участвовал в прорыве и вылетел в штаб-квартиру Адольфа Гитлера только после его завершения. 20 февраля 1944 года Гилле был награждён Мечами к Рыцарскому Железному кресту.
С 16 марта 1944 года Гилле руководил обороной Ковеля от превосходящих сил Красной армии. Он смог организовать упорное сопротивление, объединив под своим началом разрозненные и не имевшие боевого опыта воинские части (дивизия «Викинг» в это время из-за больших потерь и сильной усталости личного состава не могла принимать участия в боевых действиях, что отмечается, в частности, в книге Р.Батлера). 4-5 апреля 1944 года немецким войскам — 131-й пехотной дивизии, 4-й и 5-й танковым дивизиям и боевой группе дивизии «Викинг» — удалось установить связь с окружёнными, которые затем в течение двух дней были выведены из города (удалось эвакуировать 2 тысячи раненых и технику). 19 апреля 1944 года за оборону Ковеля Гилле был награждён Бриллиантами к Рыцарскому Железному кресту (стал 12-м кавалером этой награды, которую всего получили 27 человек). После этого он занимался восстановлением боеспособности своей дивизии и подготовкой поступивших в неё пополнений.
6 августа 1944 года Гилле был назначен командиром 4-го танкового корпуса СС, с которым отличился в оборонительных боях под Варшавой. В конце 1944 года корпус был переброшен под Будапешт, где участвовал в неудачном контрнаступлении, предпринятом с целью деблокады окруженной в столице Венгрии группировки немецких войск. В течение весны 1945 года продолжал оказывать сопротивление Красной армии, причём в марте 1945 года Гилле ещё пытался провести наступательную операцию, которая потерпела неудачу.
Весной 1945 года корпус Гилле отступил на территорию Австрии, где 8 мая в городе Радштадте сдался американским войскам.
До мая 1948 года Гилле находился в плену, после освобождения вернулся в Германию, где в апреле 1949 в рамках денацификации был приговорён к 1,5 годам лишения свободы как бывший высокопоставленный член СС, которые были признаны преступной организацией на Нюрнбергском процессе. Однако этот срок считался отбытым в период плена.
В первые годы после освобождения из плена Гилле работал служащим в Ганновере, жил в весьма стеснённых материальных условиях (его жена зарабатывала чеканкой). Затем вместе со своей семьёй занимался распространением по почте книг, а также информационного издания Общества взаимопомощи членов СС (ХИАГ), которое он основал, издавал и редактировал (до 1958). Также основал журнал ветеранов своей дивизии Wiking-Ruf («Клич викинга»).