Принадлежал к старинному прусскому дворянскому роду. Окончил военное училище.
Всю Первую мировую войну прослужил на Западном фронте. Награждён Железным крестом 1-го и 2-го классов, орденом дома Гогенцоллернов с мечами.
Во Вторую мировую войну вступил в должности командующего 1-й армией. Во время польской кампании его армия занимала «линию Зигфрида» на Западном фронте. В ноябре 1939 года был произведён в чин генерал-оберста (генерал-полковника).
На первом этапе французской кампании 1940 года армия под командованием Вицлебена совершила отвлекающий манёвр с выходом на «линию Мажино». На следующем этапе она участвовала в окружении 2-й французской группы армий. 24 июня 1940 года Вицлебен был награждён Рыцарским крестом Железного креста, 19 июля 1940 года ему был присвоен чин фельдмаршала.
С 15 марта 1941 — командующий группой армий «Д» и командующий на Западе. Старался создать постоянные береговые оборонительные сооружения с тем, чтобы предотвратить возможную высадку союзников на побережье Франции, но из-за нехватки рабочей силы ему удалось сделать немного. 21 марта 1942 года уволен в отставку по состоянию здоровья. Жил в своём поместье близ Потсдама.
С самого начала существования нацистского режима в Германии Вицлебен — прусский аристократ и убеждённый монархист — относился к нему резко отрицательно. Он был противником вмешательства Гитлера в решение военных вопросов и активной деятельности СА (штурмовиков). Одобрил уничтожение руководства СА во время «Ночи длинных ножей» 1934 года. Но когда выяснилось, что одновременно нацисты убили двух оппозиционно настроенных генералов — Курта фон Шлейхера и Фердинанда фон Бредова — Вицлебен вместе с рядом других военачальников потребовал проведения расследования, которое, однако, не состоялось из-за пронацистской позиции министра обороны Вернера фон Бломберга.
До января 1938 года, несмотря на неодобрение действий нацистов, занимал, в целом, аполитичную позицию. Однако после смещения с должности главнокомандующего сухопутными войсками его друга, генерал-полковника Вернера фон Фрича, ложно обвинённого в гомосексуальности, Вицлебен стал активным противником режима и сторонником его свержения вооружённым путём. Во время Судетского кризиса намеревался свергнуть нацистский режим силами 1-й армии. План не был реализован из-за уступок Гитлеру со стороны Англии и Франции, которые подняли авторитет фюрера и позволили занять Судетскую область без военных действий.
После Мюнхенской конференции 1938 года временно разочаровался в возможности свергнуть гитлеровский режим, заявив с горьким сарказмом своим единомышленникам:
Видите ли, господа, для этого несчастного глупого народа он снова «наш горячо любимый фюрер», единственный, посланный Богом, а мы… мы всего лишь жалкая кучка реакционеров и недовольных офицеров и политиков, осмелившихся в момент высочайшего триумфа величайшего политика всех времён бросать камни на его пути.
После выхода в отставку в 1942 году, несмотря на ухудшившееся состояние здоровья, продолжал поддерживать связь с заговорщиками и в случае успеха заговора должен был стать главнокомандующим вермахтом.
20 июля 1944 года, после покушения фон Штауффенберга на Гитлера, Вицлебен прибыл в Берлин и в полной военной форме с фельдмаршальским жезлом явился в штаб армии резерва, где находились руководители военного выступления против Гитлера. Приняв на себя обязанности главнокомандующего вермахтом, он назначил генерала Гёпнера командующим резервной армией, а генерала Тюнген-Россбаха — командующим 3-м военным округом (Берлин). Отдал приказ командующему оккупационных сил во Франции, генералу Штюльпнагелю арестовать всех сотрудников СС и СД в Париже. Узнав, что Гитлер жив и поняв, что шансы на успех выступления невелики, обвинил организаторов заговора в дилетантизме и демонстративно покинул здание, пробыв в нём около 45 минут.
21 июля был арестован. 7 августа предстал вместе с несколькими другими заговорщиками перед Народной судебной палатой. Во время процесса был тяжело болен, подвергался грубым нападкам со стороны председателя палаты Роланда Фрейслера. 8 августа, как и другие подсудимые, был приговорён к смертной казни через повешение. Вскоре приговор был приведён в исполнение в тюрьме Плётцензее. Во время казни держался с достоинством.
Американский исследователь Сэмюел Митчем так характеризовал Вицлебена:
Он прославился отнюдь не благодаря своим победам или поражениям, а исключительно из-за преданности прусскому военному идеалу служения народу и стране. Он обладал большим личным мужеством, никогда не предавал свои высокие принципы и всегда был готов на самые решительные действия против любого человека или политической группировки, пытавшихся принести офицерский корпус в жертву своим политическим целям. Родись он на столетие раньше, Вицлебен стал бы достойным соратником Герхарда Шарнхорста, Августа фон Гнейзенау и графа Иоганна Йорка фон Вартенбурга, тех офицеров, что освободили Пруссию от Наполеона. Но родившись столетием позже них, он был рождён для виселицы.