Родился в обедневшей дворянской семье. Воспитанник кадетского корпуса, в 1861 году он был выпущен лейтенантом в 41-й пехотный полк.
Участник австро-прусской войны, был ранен под Траутенау.
В 1867 году окончил военную академию, после чего служил в военно-топографическом отделе генерального штаба.
Во время франко-прусской войны состоял при штабе 2-й армии. Участвовал в сражениях под Вионвилем, Гравелотом, Орлеаном, Ле-Маном и осаде Меца.
С 1871 года — преподаватель военной школы в Постдаме. С 1878 года служил в военно-историческом отделе Большого Генштаба и одновременно преподавал в Военной академии.
С 1883 года состоит на службе у османских султанов. Заведовал военно-учебными заведениями. Приняв константинопольскую военную школу с 450 слушателями, Гольц за 12 лет увеличил их число до 1700, а общее число учащихся в турецких военно-учебных заведениях до 14 тысяч. Назначенный в 1886 году помощником начальника турецкого генерального штаба, Гольц совместно с Музареф-пашой выработал закон о призыве, преобразовавший комплектование армии. Затем он издал: правила призыва, уставы мобилизационный, полевой службы, внутренней, гарнизонной и наставление о ведении крепостной войны. Реорганизованная Гольцем турецкая армия победила в войне с Грецией 1897 года. Был произведён в муширы (маршалы).
В 1896 году возвратился в Германию, где был произведён в чин генерал-лейтенанта и назначен командиром 5-й пехотной дивизии. С 1899 года — шеф инженерного и пионерного корпуса и генерал-инспектор укреплений. Организовал ряд крепостных и десантных маневров. С 1902 года командир 1-го армейского корпуса. С 1907 года генерал-инспектор военно-учебных заведений Германии, затем генерал-инспектор 6-й армейской инспекции.
В 1909—1912 годах вице-председатель Высшего военного совета Турции. В 1911 году присвоено звание прусского генерал-фельдмаршала; вскоре фон дер Гольц вышел в отставку. В начале Первой мировой войны возвращён на службу был генерал-губернатором оккупированной немцами Бельгии.
С ноября 1914 по апрель 1915 года — адъютант султана Мехмеда V. Фактически возглавил руководство военными действиями турецкой армии. С 14 апреля 1915 года — командующий 1-й турецкой армией, размещавшейся в районе Константинополя. С октября 1915 — командующий 6-й турецкой армией, объединил в своих руках руководство германскими и турецкими войсками в Месопотамии. Разбил английского генерала Чарльза Таунсенда при Ктесифоне 23 декабря 1915 года, после чего тот вынужден был уйти с войсками в Эль-Кут, где впоследствии капитулировал — через несколько дней после смерти Гольца.
Умер от тифа, похоронен по его желанию в Константинополе.