Окончил консерваторию в Дортмунде, зальцбургский Моцартеум и музыкальный институт в Кёльне. Ученик композитора Карлхайнца Штокхаузена.
Начинал с работы дирижёра в Венском и Бохумском симфонических оркестрах и основанном в 1962 году Дортмундском ансамбле Новой музыки. В качестве дирижёра получил несколько премий. Также работал капельмейстером городского театра Аахена, преподавателем музыки в актёрской школе Бохума; выступал с фортепианными концертами.
Однако, значительно бо?льшую известность Ирмин Шмидт получил, как один из основателей (в 1968 году) и участник немецкого краут-рок коллектива Can. После распада Can, Шмидт записал несколько сольных альбомов, музыку к многим кинофильмам. Также является автором оперы по книге Мервина Пика «Горменгаст».
Жена Ирмина, Хильдегард Шмидт, является менеджером группы Can и звукозаписывающего лейбла Spoon Records с 1970-х годов.