Учился в Лейпцигской высшей музыкальной школе, руководил оркестром театра в Галле. В 1955 был назначен вторым дирижёром Дрезденской государственной капеллы, в 1960—1964 — главный дирижёр Берлинской комической оперы. С 1970 — капельмейстер Лейпцигского Гевандхауса.
С 1991 — музыкальный директор Нью-Йоркского филармонического оркестра, сменил на этом посту Зубина Мету. В 2000—2007 — главный дирижёр Лондонского филармонического оркестра. В 2002-2008 — музыкальный директор Национального оркестра Франции.
С 1989 г. находился в оппозиции режиму Э.Хонеккера, перешедшую в прямое столкновение с властями в акциях протеста против бойни на Площади Тяньаньмэнь (апрель и июнь 1989).
С особым проникновением исполняет сочинения романтиков (Бетховен, Лист, Мендельсон, Чайковский, Брукнер), из музыки XX в. — произведения Бриттена, Шостаковича. Провёл премьеры некоторых сочинений Софии Губайдулиной («Два пути» — премьерная запись), Канчели («Светлая печаль»; «И прощание уходит, вздыхая…» — премьерная запись), Шнитке (Симфонии № 3 и 7).
Мазур дважды (в 1970-х и 1990-х годах) записал с оркестром Гевандхауса полный цикл симфоний Бетховена; цикл 1970-х годов включает также увертюры. Кроме того, он осуществил и другие аудио- и видеозаписи симфоний, концертов и прочих произведений Бетховена. Дважды записал полный цикл всех симфоний Иоганнеса Брамса (видеокомплект с оркестром Гевандхауса; аудиокомплект с Нью-Йоркским филармоническим оркестром), осуществил запись всех симфоний Антона Брукнера, Макса Бруха, Феликса Мендельсона, Петра Чайковского, Роберта Шумана.
Лауреат Премии Роберта Шумана (1981), Национальной премии ГДР (1982). Назван в США музыкантом года (1993)