Руге поступил на флот в 1914 году. Участвовал в 1-й мировой войне. После окончания войны остался служить на флоте в качестве минного офицера. С 1937 командует тральщиками.
21 октября 1940 года награжден Рыцарским крестом.
С февраля 1941 года руководитель морской обороны на Западе. С мая по август 1943 года командующий ВМС в Италии. Позже представитель ВМС при главнокомандующем группы армий «Б». С ноября 1944 года — начальник Конструкторского управления ОКМ.
После окончания войны продолжил службу в восстанавливающихся ВМС ФРГ. С 1 марта 1956 года. инспектор (главнокомандующий) ВМФ ФРГ.
30 сентября 1961 года вышел в отставку.