1 января 1934 года поступил на флот фенрихом. 1 июня 1936 года произведен в лейтенанты. С 1936 года 2-й вахтенный офицер на легком крейсере «Кёльн», с 1938 года 1-й вахтенный офицер на эскадренном миноносце «Теодор Ридель».
На эсминце совершил в 1939—40 годах 12 боевых походов.
В июле 1940 года переведен в подводный флот. В качестве офицера боевой подготовки совершил 1 поход на подлодке U-37.
12 мая 1941 года назначен командиром подлодки U-128 (Тип IX-C), на которой совершил 5 походов (проведя в море в общей сложности 311 суток).
Во время второго похода принял участие в операции «Паукеншлаг» у берегов США, затем совершил 2 похода к берегам Бразилии. 5 марта 1942 года Хайзе потопил танкер «Д. А. Кнудсен» (11 007 брт), а 23 марта — танкер «Андреа Брёвиг» (10 173 брт).
21 января 1943 года награжден Рыцарским крестом Железного креста.
28 февраля 1943 года переведен в подводную учебную дивизию преподавателем.
В марте—мае 1945 года командовал 32-й флотилией подводных лодок.
Всего за время военных действий Хайзе потопил 12 судов общим водоизмещением 83 639 брт.