В июлеле 1909 года поступил на военную службу фанен-юнкером (кандидат в офицеры), в пехотный полк. С ноября 1910 — лейтенант.
С 4 августа 1914 года — на фронте, в штабе пехотного батальона. С марта 1915 — старший лейтенант. С августа 1915 — командир пехотной роты. С августа 1916 на штабных должностях (уровня полк, бригада). С марта 1918 — капитан. За время войны награждён Железными крестами обеих степеней.
Продолжил службу в рейхсвере. К началу Второй мировой войны — командир 52-й пехотной дивизии, генерал-майор (с апреля 1938).
С 10 сентября 1939 года — начальник штаба 5-й армии (на западной границе Германии). С апреля 1940 — генерал-лейтенант. С 15 мая 1940 года — начальник штаба 9-й армии. Участвовал в Французской кампании, награждён планками к Железным крестам обеих степеней (повторное награждение). С октября 1940 — командир 50-й пехотной дивизии.
С 22 июня 1941 года участвовал в германо-советской войне. Бои в районе Одессы, Николаева. В сентябре 1941 года награждён Рыцарским крестом (№ 479). Бои в Крыму.
С января 1942 года — командующий 17-м армейским корпусом (в районе Белгорода). С февраля 1942 — в звании генерал пехоты. Бои на реке Дон.
С ноября 1942 года — командующий армейской группой «Холлидт» (немецкие 48-й танковый и 17-й армейский корпуса, 1-й и 2-й румынские корпуса). Бои под Сталинградом.
С 6 марта 1943 года — командующий вновь сформированной 6-й армией. Бои на реке Миус. В мае 1943 года награждён Дубовыми листьями (№ 239) к Рыцарскому кресту. С сентября 1943 — генерал-полковник.
С 22 ноября 1943 года — в отпуске по болезни. С 20 апреля 1944 — в командном резерве. С 20 февраля 1945 — руководитель оборонной промышленности и снабжения в районе Рейн-Вестфалия. 17 апреля 1945 года взят в американский плен в Рурском котле.
27 октября 1948 года приговорён к 5 годам заключения. Отпущен на свободу 22 декабря 1949 года.
Генерал-полковник Холлидт, командующий 6-й армией, был при мне в Крыму командиром дивизии, и с тех пор мы его хорошо знали. Это был серьезный человек с цельным характером, с большой силой воли. Он, может быть, и был без больших претензий, но зато отличался ясным, трезвым умом и объективностью суждения. На него вполне можно было положиться.
(Э. фон Манштейн)