Герман происходил из рода Конрадинов. Он был сыном Гебхарда II Молодого, который в 903 году получил титул герцога Лотарингии. Однако реальная власть там принадлежала могущественному графу Ренье I Длинношеему, а в 910 году Гебхард погиб. Основные владения рода находились в Франконии. Двоюродный брат Германа, Конрад I, герцог Франконии с 906 года, после смерти короля Восточно-Франкского королевства Людовика IV Дитя был выбран королём Восточно-Франкского королевства.
Впервые в исторических источниках Герман упоминается в 914—915 годах как граф в Верхнем Рейнгау. Тогда же упоминается его старший брат Удо I, который, судя по всему, унаследовал после смерти отца родовое графство Веттерау.
В следующий раз Герман появляется в документах в 926 году. 29 апреля под Новарой погиб герцог Швабии Бурхард II. В ноябре в Вормсе состоялся рейхстаг, на котором новым правителем Швабии, в обход прав Бурхарда, сына покойного герцога Бурхарда II, король Генрих I назначил Германа. Для того, чтобы закрепить своё положение, Герман женился на Регелинде, вдове Бурхарда II.
Не имея достаточной поддержки внутри герцогства, Герман был вынужден ориентироваться на короля. Король Генрих сразу же лишил нового герцога права распоряжаться имперской церковью в Швабии, а также запретил ему проводить самостоятельную политику в отношении Бургундского и Итальянского королевств.
В отличие от некоторых своих родственников, Герман был верным сторонником королей Генриха I, а после его смерти — Оттона I, на коронации которого в августе 936 года он был главным виночерпием. В 937 году Герман участвовал в подавлении восстания Танкмара, сводного брата короля. В 939 году Герман не поддержал восстание своего двоюродного брата Эбергарда Франконского против короля. Наоборот, вместе с братом Удо он в составе королевской армии участвовал 2 октября 939 года в битве при Андернахе, в которой погиб Эберхард, а его союзник Гизельберт Лотарингский утонул во время бегства. В благодарность за это Герман получил некоторые владения Эберхарда.
В 940 году Герман обручил свою малолетнюю дочь и наследницу Иду с Людольфом, старшим сыном короля Оттона, что должно было обеспечить Людольфу наследование герцогства. Сам брак был заключён в 947 году.
Герман часто бывал при королевском дворе, а также участвовал в различных военных походах, которые организовывал король Оттон. Так, в 944 году Герман воевал против Рагнара и Родульфа, вассалов короля Западно-Франкского королевства Людовика IV Заморского, а в 946 году участвовал в королевском походе против герцога Франции Гуго Великого. В благодарность король способствовал увеличению владений Германа, который постепенно распространил своё влияние и на Эльзас. В 939 году он упоминается как граф в Лангау, а в 948 году — в Ауэльгау.
Герман умер 10 декабря 949 года. В герцогстве ему наследовал Людольф, утверждённый на рейхстаге в 950 году.
Жена: с 927 Регелинда (ум. 958), дочь Эбергарда I, графа в Цюрихгау, вдова герцога Швабии Бурхарда II. Дети: