Родился в офицерской семье. Учился в военно-технической академии в Клостербруке, а затем в военно-технической академии в Вене, которую окончил в 1872 году. Был выпущен во 2-й инженерный полк (Вена). В 1878 году окончил академию генерального штаба. С 1878 года служил в штабе 16-й пехотной дивизии, 12-й кавалерийской бригады (Германштадт), с 1880 года — в Сараевском военном училище. Участник военных действий в Южной Далмации в 1882 году. Затем служил в Оперативном бюро и в штабе 1 армейского корпуса (Краков); полевую службу проходил в 26-м, 72-м и 52-м пехотных полках.
В 1892 году женился на Евгении фон Глюнек, дочери министра юстиции. У них было трое сыновей.
С марта 1898 года Герман Кёвесс фон Кёвессгаза командовал 23-м пехотным полком — одной из лучших частей австрийской армии, расквартированной в Вене. С октября 1902 года — командир 15-й пехотной бригады (Инсбрук), с ноября 1906 года — 8-й пехотной дивизии (Бозен). В июне 1911 года назначен командиром XII армейского корпуса (Германштадт).
В начале Первой мировой войны командовал 12-м корпусом. Участвовал в Галицийской битве, наступлении 1915 года. С сентября 1915 года — командующий снова сформированной 3-й армии, действовавшей против Сербии. После разгрома Сербии армия в марте 1916 года была переброшена на Итальянский фронт. С 20 октября 1916 года — командующий 7-й армией, предназначенной для военных действий против русских и румынских войск. В 1917 году возглавлял австрийское наступление на Буковине. 5 августа 1917 года был произведён императором Карлом в генерал-фельдмаршалы. В сентябре 1918 года назначен командующим австрийскими войсками на Балканах. 3 ноября 1918 года император Карл I передал Кёвессу пост Верховного главнокомандующего всеми вооруженными силами Австро-Венгрии, которые к этому моменту находились в состоянии полного разложения. В этот же день было заключено перемирие, а 4 ноября прекращены военные действия на Итальянском фронте. Верховное командование было расформировано в декабре 1918 года.
После войны Кёвесс жил в Вене и Будапеште. В мае 1919 года ряд венгерских офицеров обратились к Кёвессу с предложением встать во главе «белых» венгерских войск и выступить против Венгерской Советской Республики, но Кёвесс отклонил предложение, заявив, что в политику он не вмешивается. Умер в Вене в 1924 году.