Иоганн Михаэль Гайдн родился в деревне Рорау (ныне — в земле Нижняя Австрия). Его отец, Матиас Гайдн, был музыкантом-фольклористом, а мать — придворной кухаркой в замке местного аристократа. Отец способствовал тому, чтоб оба брата учились пению. Согласно некоторым источникам, Гайдн с 1745 года был певчим в капелле собора св. Стефана в Вене, которую покинул в 1754 году. С 1757 года был капельмейстером при дворе епископа в Ораде (Румыния).
С 1763 года Гайдн замещал Леопольда Моцарта на должности концертмейстера и придворного органиста (в 1781 году, после переезда Вольфганга Моцарта в Вену) в капелле архиепископа Зальцбургского. Леопольд Моцарт относился к Гайдну неприязненно. Впоследствии сослуживцем Гайдна был Вольфганг Амадей Моцарт, который, в отличие от отца, дружественно относился к Гайдну.
Благодаря своим выдающимся исполнительским данным, Гайдн в 1777 году занял место органиста церкви св. Троицы. С 1804 года — член Шведской музыкальной академии. Позже занимался преподаванием, среди его учеников числятся Карл Мария фон Вебер, И. Вёльфль, Антон Диабелли.
Скончался 10 августа 1806 года в Зальцбурге.
Наиболее выдающиеся произведения Гайдна — духовные сочинения. В них он удачно сочетал традиции строгого стиля и достижения венской классической школы. Был плодовитым автором инструментальной музыки. Произведения Гайдна, предназначенные для любительского музицирования (в том числе вокальные квартеты для мужских голосов), возникли в связи с его обращением к немецким текстам. Его реквием c-moll (1771) оказал влияние на Моцарта, когда тот писал свой реквием.
и др.