Габриэль Пьерне был сыном музыкантов: его отец преподавал фортепиано, а мать — пение. Поступив в Парижскую консерваторию, он учился у Альбера Лавиньяка, Сезара Франка, Жюля Массне; соучеником Пьерне был Клод Дебюсси, тесные творческие связи с которым он сохранил на всю жизнь. В конце 1870-80 годов, наряду с Венсаном д’Энди, Эрнестом Шоссоном, Анри Дюпарком и другими Габриэль Пьерне являлся активным членом так называемого кружка музыкантов Франка, окружавшей маститого мэтра в последние годы его жизни. В 1882 г., ещё студентом, Пьерне был удостоен второй Римской премии.
В 1890-е гг. Пьерне, в основном, выступает как органист, заняв в 1890 г., вместо своего умершего учителя, Сезара Франка, должность органиста парижской церкви Святой Клотильды. Начиная с 1900-х гг. основной становится его карьера дирижёра. В 1903 г. Пьерне поступает вторым дирижёром в Оркестр Колонна, а после смерти основателя оркестра Эдуара Колонна (1910) возглавляет оркестр (до 1934 г.). Пьерне продолжает курс на исполнение самой современной музыки, не отказываясь даже от самых радикальных сочинений, — так, исполнение оркестром под управлением Пьерне Второй сюиты Дариуса Мийо вызвало резкое недовольство его старого друга Камиля Сен-Санса.
Сочиняя музыку с 12-летнего возраста, Пьерне оставил целый ряд камерных и симфонических произведений, а также несколько опер и балетов. Однако его собственные композиции всегда в большей или меньшей степени оказывались в тени его работы как дирижёра.