В 1926 году выиграл чемпионат Германии в лёгком весе, в 1927 году — чемпион Европы, а в 1928 году чемпион Германии в тяжёлом весе.
12 июня 1930 года победив американца Шарки в Нью-Йорке, стал чемпионом мира. 21 июня 1932 года проиграл тому же Шарки. Всего провёл 70 боёв, из которых выиграл 56. После 1933 года имя Шмелинга, прозванного «Зигфрид», было широко использовано нацистской пропагандой. Он стал олицетворением идеального арийца.
В 1939 году добровольцем вступил в парашютные войска. Участвовал в операции по захвату острова Крит. После окончания войны занимался коммерцией.