Родился в городе Ашерслебене в Саксонии в аристократической прусской семье. В 12-летнем возрасте поступил в кадетское училище. Службу в армии начал 1892 в чине фанен-юнкера (кандидат в офицеры). Произведён в лейтенанты в июне 1893. В 1902 году поступил в академию Генерального штаба (обер-лейтенант).
С 1907 (капитан) по 1910 — служил в Генеральном штабе, а затем на различных должностях в армии.
Во время Первой мировой войны участвовал в битве на Марне и в наступлении на реке Нарве в России. Продолжал службу на различных штабных должностях. Закончил войну в звании майора, начальником штаба 15-го корпуса во Франции.
Награждён Железными крестами обеих степеней, а также ещё 12 орденами.
После войны в стотысячной армии Веймарской республики карьерный рост фон Рундштедта шёл довольно быстро — подполковник в 1920, полковник в 1923, генерал-майор в 1927, генерал-лейтенант в 1929, и с октября 1932 он получил звание генерала пехоты. На момент прихода Гитлера к власти занимал пост командующего 1-й группы армий в Берлине.
Будучи прусским аристократом, Рундштедт считал, что армия должна стоять вне политики. Он сумел не допустить сторонника нацистов Вальтера фон Рейхенау на пост главнокомандующего армии в 1934 и 1938. В 1938 году Рундштедт протестовал против преследования нацистами генерала Фрича. Кроме того, он оскорбил Гитлера, посоветовав ему не связываться с «этой негритянской задницей» Муссолини. В результате этого Рундштедт был отправлен в отставку в звании генерал-полковника, что стало первой из его четырёх отставок.
В сентябре 1939 года началась война, и фон Рундштедт был вновь призван в армию, чтобы возглавить группу армий «Юг» в ходе успешного захвата Польши. Награждён планками к Железным крестам (повторное награждение) и Рыцарским крестом.
Во время французской кампании 1940 Рундштедт командовал группой армий «А», сыгравшей ключевую роль в захвате Франции. В соответствии с планом Манштейна, танковая группа Клейста прошла по Арденнским горам и вышла к Ла-Маншу, отрезав крупную группировку англо-французских войск в Бельгии, что и определило блестящий успех всей кампании. Однако приказа об атаке окруженных у Дюнкерка войск Рундштедт не отдал, что позволило англичанам эвакуировать с пляжей более 100 тыс. солдат. Фон Рунштедт и другие впоследствии утверждали, что это решение принадлежало Гитлеру и было основано на стремлении заключить с Великобританией мирный договор.
За успех во Франции фон Рундштедт в числе группы военачальников был произведён в фельдмаршалы (19 июля 1940). Принимал участие в разработке операции «Морской лев» по вторжению на Британские острова. Затем был командующим оккупационных сил во Франции и ответственным за береговую оборону в Нидерландах, Бельгии и Франции.
Несмотря на то, что Рундштедт с самого начала возражал против нападения на СССР, ему было поручено командование группой армий «Юг». Группа насчитывала 43 немецкие дивизии (из них 5 — танковых) и 14 — румынских. Большую часть сил группы составляла немоторизованная пехота, поэтому её продвижение было не столь быстрым, как у двух других групп вермахта. Тем не менее, армиям Рундштедта сопутствовал успех: уже на румынской границе было захвачено 150 тыс. пленных, около 2 тыс. танков и 2 тыс. орудий.
В начале августа 1941 года в боях под Уманью им удалось окружить крупные силы Южного и Юго-Западного фронтов РККА. Было взято более 100 тыс. пленных, около 300 танков и 800 орудий. В сентябре войска Рундштедта, при поддержке 2-й танковой армии Гудериана, переброшенной с московского направления, окружили под Киевом основные силы Юго-Западного фронта. В плен попало более 660 тыс. солдат и офицеров РККА, захвачено 884 танка и более 3 тыс. орудий. После этого Рундштедт повернул 1-ю танковую армию Клейста на юго-восток, в тыл частям Южного фронта, сдерживавшим продвижение 11-й армии Манштейна в районе Мелитополя. 5 октября части Клейста вышли к Азовскому морю у Бердянска, взяв таким образом в окружение 18-ю армию Южного фронта. В результате сражения у c. Черниговка, окончившегося 10 октября, части Красной Армии понесли тяжёлые потери. В плен попало около 100 тыс. человек. Командующий 18-й армией генерал-лейтенант А. К. Смирнов погиб. После этого 11-я армия смогла беспрепятственно войти в Крым и продвинулась до Севастополя, однако взять город с ходу не удалось.
К началу ноября 1941 армии группы «Юг» заняли всю территорию Украины, Донбасса и большую часть территории Крыма. Рундштедт полагал, что следует остановиться до наступления холодов. Однако Гитлер настоял на продолжении наступления.
В ноябре фон Рундштедт перенёс сердечный приступ, но отказался от госпитализации, продолжил наступление и дошёл до Ростова-на-Дону 21 ноября. Контрнаступление советских войск под Ростовым вынудило немцев отступить. Гитлер пришёл в ярость и заменил Рундштедта генералом Вальтером фон Рейхенау, который, впрочем, подтвердил приказ об оставлении Ростова.
В марте 1942 года Гитлер вернул фон Рундштедта на службу и вновь назначил его командующим оккупационными войсками на Западе. Там он (с опозданием) убедился, что на всём Атлантическом побережье не существовало фортификационных сооружений, достойных упоминания. Только после того, как Эрвин Роммель поступил в подчинение фон Рундштедта, начались серьёзные фортификационные работы. В ходе обсуждения незадолго до высадки фон Рундштедт настаивал, что танковые подразделения должны находиться в тылу операции так, чтобы они могли быть быстро направлены в любой сектор, где могли появиться союзники. Гейр фон Швеппенбург, командующий танковыми частями, поддерживал его. Но Роммель настаивал на том, что танки должны размещаться вдоль береговой линии, сразу за зоной доступа артиллерии флота союзников, поскольку авиация союзников не позволит им двигаться. Находясь под влиянием своего успеха в боевых действиях в Африке, Роммель полагал, что авиация союзников не позволит двигаться днём и серьёзно осложнит перемещение ночью. Также он уверял, что высадка далеко на Западе (в частности, в Нормандии) не рассматривается союзниками, и туда можно направить небольшое количество танков. Хотя Рундштедт считал высадку в Нормандии маловероятной, он чувствовал, что это безумный риск. Но Роммель мог действовать по-своему, так как авторитет Рундштедта сильно упал из-за его безынициативности с момента назначения. Танковые дивизии были рассредоточены и только две были направлены на северное побережье Франции к западу от Сены, и только одна из них — в Нормандию, что привело к катастрофическим последствиям, когда началась высадка союзников. После Нормандской операции в июне 1944 года Рундштедт торопил Гитлера начать мирные переговоры с союзниками. В ответ Гитлер заменил его 1 июля 1944 фельдмаршалом Гюнтером фон Клюге, одновременно наградив Рундштедта Дубовыми Листьями к Рыцарскому кресту.
После заговора 20 июля, который возмутил фон Рундштедта, он согласился вместе с Гудерианом и Вильгельмом Кейтелем участвовать в Армейском суде чести, в ходе которого были отправлены в отставку сотни нелояльных Гитлеру офицеров, часто по ничтожному подозрению. Это означало, что в отношении них больше не действуют законы военного времени, и их дела были переданы в Народную судебную палату. Многие были казнены.
В середине августа 1944 года фон Клюге покончил с собой, а фельдмаршал Модель был освобождён от должности через 18 дней после назначения командующим Западным фронтом, и Рундштедт 5 сентября 1944 был снова назначен командующим на Западе.
Там он быстро соединил войска и одержал победу над союзниками в Голландской операции. В феврале 1945 награждён Мечами к Рыцарскому кресту с Дубовыми Листьями.
Хотя он был командующим в ходе наступления на Антверпен (которое провалилось из-за перевеса союзников в Арденнской операции), он с самого начала был против этого наступления и по существу умыл руки. Он был снова смещён с командования в марте 1945 года, когда сказал Вильгельму Кейтелю, что Гитлеру лучше заключить мир с союзниками, чем продолжать безнадёжную войну.
Рундштедт был захвачен в плен 36-й американской пехотной дивизией 1 мая 1945 года. В ходе заключения советские следователи спросили его, какую битву в войне он считает решающей. От него ждали, что он скажет Сталинградская, но он сказал Битва за Британию, «раздражённые следователи закрыли блокноты и ушли». В ходе допросов он перенёс ещё один сердечный приступ и был увезён в Британию, где его содержали в лагере военнопленных в Бридженте. Англичане считали его военным преступником. Обвинения против него включали организацию массовых убийств на оккупированных советских территориях. 10 октября 1941 года командир 6-й армии Вальтер фон Райхенау издал свой печально знаменитый «приказ Рейхенау». Когда Рундштедт получил копию приказа, он её размножил и разослал командирам других армий как образец приказа, который они должны были отдать своим подчинённым. Также было зафиксировано его активное содействие Айнзатцгруппам. Когда его спрашивали по существу дела и представили изобличающие свидетельские показания от командира Айнзатцгруппы, Рундштедт только сказал, что для эсэсовца — дерзость «говорить в таком тоне о фельдмаршале», хотя он не мог оспорить эти показания. В конечном счёте он так и не предстал перед судом, как утверждают, из-за слабого здоровья, хотя американские следователи считали, что решение англичан основано на политических мотивах. Его освободили в июле 1948 года, и до своей смерти он жил в Ганновере.
22 января 1902 года женился на Луизе фон Гетц, и у них был только один ребёнок: Ханс Герд фон Рундштедт (1903—1948).