После окончания народной школы в 1935 году поступил матросом в торговый флот. Служил юнгой, затем матросом, прежде чем поступить в 1939 году в мореходное училище в Гамбурге, которое закончил в 1941 году с дипломом офицера-навигатора торгового флота (nautischen Offizier der Handelsmarine). Впоследствии служил третьим и вторым офицером на различных танкерах (в том и числе и на танкере «Целебес», который подчинялся Кригсмарине. В 1942 году Ирмшер стал членом НСДАП.
После окончания Второй мировой войны работал подсобным рабочим на стройке в своём родном городе. В 1946 году вступил в СЕПГ. В 1950 году Ирмшер поступил референтом в Главное управление Морской полиции, Он стал одним из ведущих офицеров морской полиции, которые под руководством Вальдемара Фернера строили военно-морские силы ГДР. В 1951—1954 годах он руководил отделом в штабе морской народной полиции (Abteilungsleiter im Stab der Seepolizei (Volkspolizei-See)).
В 1955—1957 годах командовал базой ВМС Пенемюнде, из частей которой позже была образована 1-я флотилия Фольксмарине. В 1957—1958 годах служил руководителем отдела по боевой подготовке в Командовании Фольксмарине. В 1961—1962 годах работал техническим директором на верфи Пеене-верфт в Волгасте (VEB Peenewerft). В 1962—1970 годах служил заместителем начальника штаба Фольксмарине по боевой подготовке (stellvertretender Chef des Stabes f?r Ausbildung im Kommando der Volksmarine). В 1970 году Ирмшер получил под своё командование Высшую Офицерскую Школу Фольксмарине имени Карла Либкнехта в Штральзунде. Во главе школы он находился до своего выхода в отставку 30 апреля 1976 года. 1 марта 1971 года ему было присвоено звание контр-адмирала.