Всю войну прослужил на Западном фронте. Был награждён многими орденами:
С 1 октября 1933 сменил генерала Вильгельма Адама на должности начальника Войскового управления (аналога Генерального штаба, создание которого было запрещено Германии Версальским мирным договором). В 1934 награждён Почётным крестом фронтовика (как и другие ветераны Первой мировой войны). Был сторонником достаточно осторожного увеличения численности германских вооружённых сил на основе планов, разработанных ещё до прихода к власти нацистов — с 10 до 21 дивизии, тогда как Гитлер принял решение увеличить армию до 36 дивизий.
1 июля 1935, после официального переименования Войскового управления в Генеральный штаб, стал начальником Генштаба сухопутных войск (1935—1938 гг.). Считал, что вермахтом должны руководить военные профессионалы, сыграл основную роль в создании на основе небольшого Войскового управления масштабного органа — «мозгового центра» германской армии. С 1 октября 1935 — генерал артиллерии.
Бек не участвовал в совещании 5 ноября 1937, на котором Гитлер объявил о подготовке к военным действиям. Но уже 9 ноября 1937 он встречался с главнокомандующим сухопутными войсками генерал-полковником Вернером фон Фричем и министром иностранных дел Константином фон Нейратом — во время этого неформального совещания его участники пришли к выводу о крайней опасности последствий вовлечения страны в войну, однако Гитлер отказался изменить свои планы. В начале 1938 Бек поддержал генерала фон Фрича, ложно обвинённого в гомосексуализме и уволенного в связи с этим от занимаемой должности. В 1938 подготовил ряд меморандумов, в которых подверг критике агрессивные планы Гитлера, считая, что они носили слишком рискованный характер. В мае 1938 выступил против плана нападения на Чехословакию.
В июле 1938 направил меморандум на имя главнокомандующего сухопутными войсками генерал-полковника Вальтера фон Браухича, в котором призвал к уходу высшего военного руководства страны в отставку, чтобы не допустить начала войны:
Однако германский генералитет (включая и фон Браухича) отказался последовать призыву Бека, который в августе 1938 подал рапорт об отставке и фактически прекратил исполнять обязанности начальника Генштаба. 27 августа отставка была принята, но в условиях обострения международной ситуации в связи с Судетским кризисом об этом было объявлено позже — 31 октября 1938. Гитлер желал сохранить видимость единства в военной элите, поэтому отставка Бека носила почётный характер — он был произведён в чин генерал-полковника и назначен почётным полковником 5-го артиллерийского полка, которым ранее командовал (особое отличие для отставных военачальников).
В 1938—1940 Бек написал ряд военно-теоретических работ («Полководец в войне», «Германия в будущей войне», «Стратегия», «Размышления о войне» и др.), опубликованных после его смерти.
Первые годы войны показали, что многие прогнозы Бека в краткосрочной перспективе не оправдались — так, он преувеличивал решимость правящих кругов Англии и Франции противостоять германской агрессии. Однако последующее развитие событий подтвердило его принципиальную правоту как в общем, так и в ряде частностей (например, в указании на опасность бомбардировок территории Германии в случае начала войны, которую недооценивали как Гитлер, так и главнокомандующий германской авиацией Герман Геринг).
Находясь в отставке, генерал Бек объединил вокруг себя офицеров, настроенных оппозиционно по отношению к нацистскому режиму. В 1938—1940 они неоднократно обсуждали планы государственного переворота и устранения Гитлера, однако военные успехи германской армии сделали эти планы на время неактуальными. Он пользовался уважением и со стороны гражданских противников режима, с которыми сотрудничал в рамках общества «Среда», включавшего в себя 16 интеллектуалов. Авторы книги «Июльский заговор» Роджер Мэнвелл и Генрих Френкель так характеризуют Бека:
Вопрос о либеральном характере политических взглядов Бека носит спорный характер. Скорее, его можно назвать умеренным консерватором, взгляды которого, однако, были шире, чем у многих коллег по вермахту. Так, находясь в отставке, он находил возможным взаимодействие с представителями левых сил — социал-демократами — и даже налаживание контактов с коммунистами, к которым, впрочем, относился резко отрицательно. Был кандидатом на должность временного главы государства в случае свержения Гитлера.
Бек стал одним из руководителей военного заговора, который привёл к покушению на Гитлера и попытке захватить власть в стране 20 июля 1944. В этот день прибыл в здание военного министерства на Бендлерштрассе в Берлине (где находился штаб армии резерва) и возглавил выступление военных. В условиях неясности вопроса о гибели Гитлера заявил:
Связался с командующим вермахтом во Франции генералом Карлом Германом фон Штюльпнагелем (в прошлом своим соавтором по книге «Управление войсками») и главнокомандующим вооружёнными силами на Западе фельдмаршалом Хансом Гюнтером фон Клюге, призвав их поддержать участников заговора. Но если Штюльпнагель ответил согласием (и приказал арестовать руководящих чинов СС в Париже), то Клюге, после некоторых колебаний, отказался содействовать заговорщикам. Вечером 20 июля Бек смог связаться с командованием группы армий «Север» на Восточном фронте, которому передал свой единственный за этот день приказ — начать подготовку к отводу войск из Курляндии в Восточную Пруссию для того, чтобы избежать окружения и усилить оборону германской территории. Приказ был проигнорирован — позднейшие события подтвердили правоту позиции Бека.
Поздно вечером заговор был подавлен, а его руководители, включая генерала Бека — арестованы. Около 23 часов 15 минут Бек обратился с просьбой к командующему армией резерва генералу Фридриху Фромму (участвовавшему в подавлении заговора) разрешить ему покончить с собой. Однако попытка самоубийства оказалась неудачной — Бек только ранил себя. В полубессознательном состоянии он попросил дать ему другой пистолет, но и вторая попытка не привела к смертельному исходу. Тогда Фромм приказал одному из своих подчиненных добить старого генерала выстрелом в шею.
Тело Бека, как и четверых участников заговора, расстрелянных по приказу Фромма, было захоронено на кладбище церкви святого Матиаса в Берлине. Но уже 21 июля Гитлер приказал вырыть трупы, кремировать их и останки развеять по ветру, что и было исполнено.
В современной Германии генерал Бек считается одним из героев антинацистского Сопротивления. Учреждена премия Людвига Бека за гражданское мужество. Выпущена почтовая марка с его портретом.
В фильме «Операция „Валькирия“» роль Людвига Бека сыграл актер Теренс Стэмп.