Родился в 1898 году в Ганновере. Во время первой мировой войнв служил в Кайзеровских ВМС. В ноябре 1918 был активным участником Кильского восстания на флоте, первым поднял красный флаг на линкоре «Гельголанд». В 1919 году вступил в КПГ. С 1921 — член ЦК КПГ. В 1924 арестован, в 1926 освобождён. В 1928 году был избран депутатом прусского ландтага. В 1932 году избран депутатом Рейхстага.
Возглавил интернационал пролетарских моряков и портовых рабочих. В 1933 после прихода к власти нацистов бежал в Копенгаген. Возглавил законспирированную организацию, известную как «союз моряков», «союз Волльвебера», «лига Волльвебера», занимавшуюся сбором развединформации и саботажем против германских кораблей в районе Балтийского моря. После подрыва корабля в Стокгольмском порту в 1941 арестован в Швеции и осужден на три года. В 1944 выслан в СССР.
После окончания второй мировой войны вернулся в Германию и вступил в СЕПГ. С 1950 года — замминистра транспорта ГДР. В 1953 возглавил Министерство государственной безопасности ГДР, сменив Вильгельма Цайссера. Занимал этот пост до 1957. В 1958 обвинен в антипартийной деятельности и выведен из ЦК. Как писал П. Судоплатов, Волльвебер сообщил советскому руководству о разногласиях, существовавших между лидерами ГДР, а Н. Хрущёв, испытывавший неприязнь к органам госбезопасности, выдал эту информацию В. Ульбрихту.
Умер в 1967 году.