Вебер получил музыкальное образование в родном городе, в 1920 году дебютировал в Венской народной опере и в течение нескольких лет исполнял там небольшие партии. В 1931 году, после успешного выступления на Вагнеровском фестивале в Мюнхене, он был приглашён в 1933 году в Баварскую государственную оперу в Мюнхене и вскоре начал гастролировать за границей.
Начиная с 1936 года он несколько лет пел в Королевском театре Ковент-Гарден в Лондоне, а с 1945 года до конца своей карьеры в 1965 году — в Венской государственной опере. Он много гастролировал по всем крупным европейским оперным сценам, а также в Театре Колон в Буэнос-Айресе. С 1961 года профессор Людвиг Вебер преподавал в консерватории «Моцартеум» в Зальцбурге.
В 1951—1962 годах Вебер регулярно принимал участие в Байройтском фестивале.
Голос Вебера считается одним из лучших басов XX века. У знатоков Людвиг Вебер ассоциируется прежде всего с исполнением опер Рихарда Вагнера: «Парсифаль», «Гибель богов», «Золото Рейна», ‘’Тристан и Изольда", а также «Волшебной флейты» Моцарта, «Бориса Годунова» Мусоргского и «Кавалера розы» Рихарда Штрауса.
Преемником Людвига Вебера по певческой манере и голосовым данным считается Курт Молль.