Родился 29 декабря 1929 года в селе Новая Жучка (Садгора) Черновицкой области в семье ремесленника-столяра. С пятилетнего возраста учился игре на фортепиано. До 1940 г. успешно окончил 5 классов местной румынской школы.
Во время оккупации Буковины немецко-фашистскими захватчиками был депортирован в концлагерь в с.Марьяновка, Винницкой области. Находился в гетто в г. Копай-город. Выжил благодаря умению рисовать иконы для местного населения. После освобождения Украины советскими войсками в 1944 году вернулся вместе с семьей в Черновицкую область.
После окончания школы (1948) поступает в Черновицкий Мединститут, по окончании которого в 1955-м году шесть лет работает хирургом больницы села Грозинцы хотинского района черновицкой области.
С 1952 года — член областного союза композиторов.
В 1955 году закончил с отличием фортепианное отделение Черновицкого музыкального училища.
Работал педагогом и концертмейстером в черновицком Дворце Школьников.
С 1961 года — педагог по классу фортепиано черновицкого музыкального училища. Более 30 лет преподает методику игры на фортепиано.
Закончил Киевскую консерваторию имени П. И. Чайковского (1960 - 1965). На 2-м курсе консерватории стал преподавателем Черновицкого музыкального училища.
С 1998 года - член Национального Всеукраинского музыкального союза.
Иосиф Эльгисер - дипломант первого украинского конкурса пианистов им. М.Лисенко, лауреат областной литературно-художественной премии им. М.Лысенко, лауреат областной литературно-художественной премии им. С.Воробкевича (1998 г.)
В 1999-м году Награжден знаком "Отличник образования Украины". В этом же году стал лауреатом золотой медали ЮНЕСКО и звания «Золотое имя мировой культуры» за серию 27-ми фортепианных исторических концертов, посвященных фортепианной музыке. На протяжении двух лет маэстро исполнил 443 произведения известных композиторов - от Баха до Скрябина. Награждение проходило в Брюсселе, в здании Королевской оперы, медаль получила дочь пианиста (сам он приехать не смог) из рук короля Бельгии.
В 2000-ном году году имя Иосифа Эльгисера занесено на "Аллею звезд" в г.Черновцы.
С 1 ноября 2002 года — член Союза Композиторов Украины. В этом же году, в Австрии вышел компакт-диск "Музыка Буковины" (исполнение и редакция Эльгисера).
За период с 2000 по 2003годы вышли из печати 7 томов сочинений композитора.
С 2004 года маэстро получил звание заслуженного деятеля искусств Украины, стал почетным членом правления общества им. Ф.Шопена и общества им. Ф.Листа.
В настоящее время живет и продолжает плодотворно работать в г. Киеве.
Эльгиссер известен на Украине, как композитор, музыковед, постоянный автор газетных статей и рецензий, автор статей к «Украинскому музыкальному словарю»
Автор более 200 фортепианных и оркестровых произведений. Автор 70-ти песен, романсов и произведений для хора. Часть вокальных произведений написаны на собственные тексты.