Член Коммунистической партии Германии, позже Социалистической единой партии Германии с 1931 года. Ранее, с 1928 года состоял в Коммунистическом союзе молодёжи Германии. Из рабочей семьи, по профессии каменщик.
В 1935—1937 и в 1940—1945 служил в вермахте.
После освобождения Германии от нацизма с 1945 года возглавлял ряд отделов Немецкого центрального управления промышленности (исполнительный орган под контролем Советской военной администрации, на базе которого после создания ГДР в 1949 году было создано несколько промышленных министерств). В 1950—1952 годах — председатель комиссии Народной палаты ГДР по экономическим вопросам. Министр внутренних дел ГДР с 1952 по 1955 год. Министр национальной обороны ГДР с 1956 по 1960 годы. Одновременно в 1954—1962 годах — заместитель председателя Совета министров ГДР, а с 1962 года — первый заместитель председателя Совета министров.
Председатель Совета министров ГДР с 1964 по 1973 годы. Председатель Государственного совета ГДР с 1973 по 1976 годы. Затем вторично назначен на пост председателя Совета министров ГДР и возглавлял его в 1976—1989 годах.
Параллельно занимал высокие посты в Социалистической единой партии Германии (СЕПГ): с 1950 года член ЦК СЕПГ, в 1950—1953 годах — секретарь ЦК СЕПГ, в 1953—1989 годах — член Политбюро ЦК СЕПГ. С 1950 по 1989 годы — депутат Народной палаты ГДР.