Зигмар Габриэль родился в Госларе. Когда ему было три года, его родители разошлись. Его мать была медицинской сестрой, а отец муниципальным служащим.
Зигмар Габриэль окончил гимназию в Госларе (нем. Ratsgymnasium Goslar). После окончания гимназии прошёл воинскую службу. В 1988 году Зигмар Габриэль окончил Гёттингенский университет по специальности "учитель немецкого языка, политики и социологии". С 1989 по 1990 год работал учителем в народной школе в Госларе.
Живёт в гражданском браке с врачом-стоматологом, вместе воспитывают дочь от её первого брака.
С 1976 по 1989 годы Зигмар Габриэль работал в молодёжной организации «Социалистическая молодёжь Германии — Соколы» (нем. Sozialistische Jugend Deutschlands – Die Falken). Вскоре Габриэль становится лидером местного отделения организации в Госларе. Затем он становится председателем окружного отделения организации в Брауншвайге. Брауншвайгское отделение относилось к марксистскому крылу организации.
С 1987 по 1998 годы Габриэль был членом районного законодательного собрания района Гослар. С 1991 по 1999 годы он был Председателем этого собрания. С 1990 по 2005 годы Габриэль — депутат ландтага Нижнкей Саксонии. С 1997 года он заместитель председателя ландтага Нижней Саксонии. С 1998 по 1999 и с 2003 по 2005 годы Габриэль — председатель фракции СДПГ в местном ландтаге.
В 2005 и в 2009 годах Зигмар Габриэль выбирался депутатом Бундестага прямым голосованием от округа Зальцгиттер-Вольфенбюттель.
После отставки премьер-министра Нижней Саксонии Герхарда Глоговски, 15 декабря 1999 года Зигмар Габриэль занял его пост. После выборов в нижнесаксонский ландтаг 2 февраля 2003 года СДПГ проиграла ХДС и Габриэль потерял пост премьер-министра.
С 2003 по 2005 годы Габриэль входит в президиум СДПГ. В эти же годы он является заместителем председателя социал-демократической партии Нижней Саксонии.
С 2005 по 2009 годы Габриэль был министром по охране окружающей среды, охране природы и ядерной безопасности в коалиционном правительстве Ангелы Меркель.
После поражения социал-демократов на выборах в бундестаг 27 сентября 2009 года, председатель СДПГ Франц Мюнтеферинг ушел в отставку. 13 ноября 2009 года на съезде партии в Дрездене, председателем СДПГ был избран Зигмар Габриэль. Во время голосования Габриэль получил 94,2 % голосов.