Выходец из аристократического прусского рода. Поступил на военную службу в марте 1900 года, фанен-юнкером (кандидатом в офицеры) в 3-й артиллерийский полк. В августе 1901 года произведён в лейтенанты. С 1904 — адъютант батальона. В 1910-13 годах (обер-лейтенант) обучался в военной академии. С декабря 1911 по март 1914 года служил в 10-м гусарском полку. Произведён в ротмистры, назначен командиром эскадрона 1-го гусарского полка.
С августа 1914 по октябрь 1915 года командовал запасным батальоном 1-го гусарского полка («черные гусары»). Принимал участие в сражении под Танненбергом. В октябре 1914 года награждён Железным крестом 2-го класса, в январе 1915 — 1-го класса.
С октября 1915 года на штабных должностях уровня дивизии, корпуса. С августа 1917 — нач. опер. отдела штаба гвардейской кавалерийской дивизии, затем на той же должности в 1918 года в 225-й пехотной дивизии, с сентября 1918 — нач. опер. отдела штаба 7-го армейского корпуса. Награждён ещё тремя германскими орденами.
После войны капитан Клейст продолжал служить в рейхсвере на штабных и командных должностях. С октября 1929 — полковник. В 1931 — командир 9-го пехотного полка, в 1932—1933 годах командовал 2-й кавалерийской дивизией (генерал-майор, с октября 1933 — генерал-лейтенант). В 1933—1935 годах на штабных и командных должностях 8-го военного округа (Бреслау). В 1935—1938 командующий 8-м военным округом и 8-м армейским корпусом. В августе 1936 года получил звание генерала кавалерии.
В феврале 1938 года отправлен в отставку из-за разногласий с нацистским руководством. Был вновь призван на службу в августе 1939 года и назначен командующим 22-м армейским корпусом (моторизованным).
Во главе корпуса принимал участие во вторжении в Польшу. Награждён планками к Железным крестам (повторное награждение).
Во время Французской кампании командовал танковой группой «Клейст», в состав которой входили пять танковых дивизий из десяти, имевшихся у Германии. Таким образом, Клейст фактически стал командиром первой в истории танковой армии.
В соответствии с планом Манштейна, танковая группа Клейста преодолела труднопроходимые Арденские горы, прорвала фронт на р. Маас и, после стремительного обходного манёвра, прижала к морю англо-французские войска в районе Дюнкерка. Лишь приказ Гитлера о приостановке наступления предотвратил полный разгром и позволил англичанам эвакуировать свои части через пролив Ла-Манш. Всего было эвакуировано около 200 тыс. английских и 100 тыс. французских солдат и офицеров.
Клейст был награждён Рыцарским крестом (№ 15) и произведён в генерал-полковники.
В апреле 1941 года танковая группа Клейста была направлена в Югославию и Грецию.
В начальный период вторжения в СССР 1-я танковая группа была включена в группу армий «Юг» и наступала севернее Львова в направлении на Ровно. 10 июля группа заняла Житомир, находящийся в 150 км от Киева. Затем, повернув на юг, Клейст соединился с частями 17-й армии, окружив в районе Умани крупную группировку войск Южного и Юго-Западного фронтов Красной Армии (См. «Битва под Уманью»).
В середине августа 1941 года группа Клейста заняла переправу через Днепр в районе Днепропетровска, создав угрозу Донбассу. В это же время части 17-й армии перешли Днепр у Кременчуга. 10 сентября Клейст принял Кремечугский плацдарм у 17-й армии. На следующее утро 1-я танковая, начав наступление с плацдарма, прорвала оборону советской 38-й армии и повела наступление на север. Этот внезапный прорыв застал советское командование врасплох. За первые 12 часов танки Клейста прошли 70 км, и вблизи г. Ромны, в 200 км восточнее Киева, соединились с частями 2-й танковой группы под командованием Гудериана. Таким образом Клейст и Гудериан совершили самое крупное окружение за всю историю войн: в котле под Киевом оказалось 5 советских армий. 26 сентября сражение завершилось. В плен попало более 600 тыс. солдат и офицеров Красной Армии.
После взятия Киева группа Клейста (с этого момента она стала называться 1-й танковой армией) двинулась к Ростову — главной цели её кампании в 1941 года. Вынудив советские части на Днепре отступить к Запорожью, армия Клейста продвинулась на восток, а затем повернула на юг, зайдя в тыл 18-ю армии Южного фронта, угрожавшей силам 11-й армии Манштейна с востока. 5 октября части Клейста вышли к Азовскому морю у Бердянска, взяв, таким образом, в окружение основные силы 18-й армии, сосредоточенные у c. Черниговка. В результате сражения, окончившегося 10 октября, 18-я армия понесла тяжёлые потери. В плен попало около 100 тыс. человек. Командующий армией генерал-лейтенант А. К. Смирнов погиб.
Армия Клейста продолжила движение на восток вдоль побережья Азовского моря: 17 октября был взят Таганрог, а 28 октября немцы вышли к реке Миус, последней водной преграде перед Ростовом. Наступившая осенняя распутица и истощение запасов горючего заставила Клейста задержать продвижение.
Командующий группы «Юг» Герд фон Рундштедт полагал, что в преддверии русской зимы продолжать наступление не следует , однако Гитлер настаивал, и 17 ноября танки Клейста двинулись на Ростов. После недели боев оборона была сломлена, и ночью 20 ноября 1-я дивизия СС вошла в город.
Ростов был не просто крупным городом с полумиллионным населением, он открывал путь на Кубань, к нефтяным полям Кавказа и далее в Закавказье и Иран. Поэтому можно было ожидать попыток Красной Армии вернуть город. Левый фланг армии Клейста был опасно обнажен, однако помощи от командования не последовало. Кроме того, из-за ранних морозов на Дону раньше обычного встал лед и 25 ноября советские войска под командованием Тимошенко нанесли удар с юга, наступая по льду замерзшей реки. После упорного и кровопролитного боя 28 ноября немецкие войска оставили город.
Рундштедт запросил разрешения Гитлера отвести войска на зиму на естественный рубеж обороны на р. Миус, но разрешения не получил. Тем не менее, Рундштедт отдал приказ к отходу. В тот же день Гитлер отстранил его от командования группой «Юг» и назначил новым командующим Вальтера фон Райхенау. Однако, прибыв на место, Рейхенау подтвердил приказ к отступлению. Ростов остался советским до июля 1942 года.
В мае 1942 года 1-я танковая армия принимала участие в отражении советского наступления под Харьковом (операция «Фредерикус»).
После падения Харькова 1-я танковая армия была включена в состав вновь сформированной группы армий «А» (командующий — фельдмаршал Лист). Армия Клейста прикрывала с севера фланг 17-й армии во время наступления последней на Ростов. Город был взят 24 июля. Группа «А» переправилась через Дон и повела наступление на Кавказ. (См. Битва за Кавказ)
Стремясь ускорить продвижение в Закавказье, 9 сентября Гитлер отстранил Листа и взял командование группой «А» на себя. Однако, не добившись успеха, 21 ноября передал командование Клейсту. При этом командование 1-й танковой перешло к генералу Макензену. Таким образом, под командованием Клейста находились 1-я танковая армия и 17-я армия.
В конце ноября 1942 года советские войска завершили окружение 6-й армии под Сталинградом, что поставило группу Клейста в тяжелое положение. Основные силы группы «А», были расположены в предгорьях Северного Кавказа. Таким образом, части Красной Армии, находившиеся в районе Сталинграда оказались намного ближе к Ростову-на-Дону, через который проходила единственная связь группы с остальными частями Восточного фронта. С Кавказа нужно было быстро уходить, но Гитлер не давал приказа на отступление до 27 декабря.
Чтобы представить себе сложность задачи, нужно вспомнить, что в момент начала отступления передовые части 1-й танковой армии находились на Тереке, в 600 км от Ростова. 20 января 1943 года части Красной Армии в ходе операции «Малый Сатурн») приблизились к Ростову с юга на расстояние менее 50 км (см. положение фронта — карта зима 1942-43), но были остановлены резервом 4-й танковой армии Манштейна. Упорные бои на подступах к Ростову продолжались в течение трёх недель. Частям Манштейна все же удалось сдержать натиск Красной Армии, в результате чего 1-я танковая переправилась через Дон и избежала окружения.
17-я армия оставила опорные пункты на Кавказе и под постоянным давлением сил Красной Армии (74-я, 56-я, 18-я, 37-я, 9-я, 58-я и 44-я советские армии) заняла рубеж обороны на Таманском полуострове («Кубанская линия»). Оборона Кубанской линии продолжалась до конца августа 1943 года, когда общее наступление Красной Армии на Украине создало угрозу Крымским перешейкам. Далее медлить с отступлением было нельзя, и 3 сентября 1943 года Гитлер дал приказ на выход войск с Кубани. Эвакуация продолжалась до 9 октября. Несмотря на все усилия Красной Армии помешать этому, через Керченский пролив в Крым было переправлено 260 тыс. солдат, 70 тыс. лошадей, вся техника, артиллерия и запасы продовольствия. Оставить пришлось лишь фураж для лошадей. Выведенные с Тамани войска были направлены на оборону Перекопских перешейков.
1 февраля 1943 года Клейст был произведен в чин фельдмаршала .
После покушения на Гитлера 20 июля 1944 года был арестован гестапо. Клейст обвинялся в том, что знал о существовании заговора и не сообщил об этом. Однако затем он был освобожден. 25 апреля 1945 года арестован американскими войсками и вывезен в Лондон, в качестве свидетеля привлечен к работе Международного военного трибунала в Нюрнберге.
В сентябре 1946 года передан Югославии и в августе 1948 год приговорен югославским народным судом к 15 годам каторжных работ. В марте 1949 года передан СССР. Содержался во внутренней тюрьме МГБ, Бутырской и Лефортовской тюрьмах, а затем во Владимирской тюрьме. 21 февраля 1952 года Военной коллегией Верховного суда СССР приговорен к 25 годам заключения в лагерях. По официальной версии умер в лагере от недостаточности митрального клапана. Место захоронения неизвестно.