Первые годы своей жизни провёл в Гаване, где его отец Юлиус Рунге был датским консулом. Позже семья перебралась в Бремен, где его отец рано умер (в 1864 году).
Учился в Берлинском университете у Карла Вейерштрасса, в 1880 году получил степень доктора философии (Ph. D.) по математике, с 1886 года — профессор математики в Ганноверском университете. В 1904 году по инициативе Феликса Клейна приглашён в Университет Георга-Августа в Гёттингене и возглавил вновь открытую кафедру прикладной математики. Считается исторически первым немецким математиком по этой дисциплине.
Ещё в Ганновере внёс вклад в спектроскопию. В Гёттингене, совместно с М. Куттой разработал методы численного интегрирования систем обыкновенных дифференциальных уравнений — методы Рунге — Кутты.
Исследовал поведение полиномиальной интерполяции при повышении степени полиномов — Феномен Рунге.
В области функционального анализа исследовал аппроксимируемость голоморфных функций — теорема Рунге.
Известна его работа в области векторного анализа — Вектор Лапласа — Рунге — Ленца.
Его именем назван Кратер Рунге на Луне.