Отец — медик, музыкант и художник-самоучка. В 1912—1914 семья жила в Базеле, где Хартунг увлекся фотографией. Затем учился в Дрездене, копировал в музее Рембрандта, Гойю, Эль Греко, немецких и австрийских экспрессионистов (Кокошка, Нольде). В акварельных работах 1922 пришёл к абстракционизму.
В 1924—1925 учился философии и истории искусства в Лейпциге, затем — в Академии изящных искусств в Дрездене. Открыл для себя импрессионизм и кубизм. До 1931 жил в Париже, затем путешествовал по Бельгии, Голландии, Норвегии. С 1934 поселился в Париже, сблизился с Кандинским, Мондрианом, Миро, Колдером. Рисовал в манере, близкой к ташизму. Бедствуя, работал в мастерской скульптора Хулио Гонсалеса, женился на его дочери.
В годы Второй мировой войны записался в Иностранный легион, воевал в Северной Африке. Демобилизовавшись, бежал из оккупированной Франции в 1943, укрывался в Испании, был арестован, 7 месяцев провел во французском концентрационном лагере. Затем снова поступил в Иностранный легион, был тяжело ранен в ноябре 1944, потерял правую ногу. Вернувшись в Париж, в 1946 получил французское гражданство, был награждён Военным крестом и орденом Почётного легиона.
После войны участвовал в многочисленных выставках, был замечен критикой. Документальный фильм «Визит к Хансу Хартунгу» снял Ален Рене (1947). Хартунг подружился с Сулажем, Матье, Ротко, был признан одним из лидеров информеля (нефигуративного искусства). Большая ретроспектива его работ была развернута в Базельском музее (1952), в 1956 он был избран членом Берлинской Академии изящных искусств, в 1960 получил Большую премию по живописи на Венецианской Биеннале. Ретроспективные выставки его работ прошли в Брауншвейге, Турине, Париже, Хьюстоне, Квебеке, Монреале, Нью-Йорке, Кёльне. Он был удостоен Почетного приза Биеннале в Любляне (1967), Большой художественной премии Парижа (1970).
В семидесятые годы ретроспективные экспозиции Хартунга прошли в Берлине, Мюнхене, Нью-Йорке. Известное швейцарское издательство «Скира» выпустило альбом «Незамеченный мир глазами Ханса Хартунга» с репродукциями его фотографий и текстом французского поэта Жана Тардьё.