Футбольную карьеру начал в местной любительской команде «Шварц-Вайс» в 1962 году. В 1972 перешёл в «Кёльн».
С «Кёльном» выиграл чемпионат Германии в 1978 году, и три кубка Германии в 1977, 1978 и 1983. В 1979 впервые защищал ворота национальной сборной Германии, заменив на этом посту Зеппа Майера. В составе сборной Германии стал чемпионом Европы 1980, который проходил в Италии. На чемпионатах мира в 1982 в Испании, и в 1986 в Мексике он стал серебряным призёром. Шумахер был признан лучшим вратарём чемпионата мира 1986.
В полуфинале чемпионата мира 1982, в игре со сборной Франции, Шумахер нанёс тяжелейшую травму Патрику Баттистону, который получил сильный ушиб позвоночника, но Шумахер во время этого матча не проявил сострадания. Позже Шумахер публично извинился перед Баттистоном. В 1987 был вынужден завершить карьеру в сборной в связи со скандалом: в своей книге «Свисток» он высказывал мнение о допинге в национальной сборной Германии. Его клуб «Кёльн» также отрицательно отреагировал на эту публикацию, разорвав с ним контракт.
После «Кёльна», Шумахер провёл сезон 1987/88 в «Шальке 04», а затем перешёл в турецкий «Фенербахче». Там Харальд стал любимцем местной публики, в первом же сезоне став капитаном команды, с которой выиграл чемпионат Турции. В 1991 Шумахер вернулся в Германию, перейдя в «Баварию», которая была под угрозой вылета во вторую лигу: основной вратарь мюнхенцев Раймонд Ауманн получил травму, а второй вратарь ушёл из команды. В «Баварии» Шумахер отыграл 8 матчей, в итоге команда заняла 10 место.
После окончания карьеры в 1992 был тренером вратарей в «Баварии».
7 августа 1994 принял участие в матче сборная мира — сборная России, приуроченного к проведению Игр доброй воли в Санкт-Петербурге.
В сезоне 1995/96 вернулся в футбол, чтобы отыграть последний матч в своей карьере в составе «Боруссии» из Дортмунда, которая стала чемпионом Германии в 1996. Таким образом Харальд отпраздновал свой окончательный уход из футбола.