Родился в Вижнице, одном из известных центров хасидизма на Буковине, в то время почти на 90 % населённом евреями. Отец был плотогоном, участвовал в Первой мировой войне как солдат австрийской армии. Когда на Буковину вступили русские войска, мать с сыном бежали в Венгрию и скрывались там до окончания войны.
Когда будущему писателю было 12 лет, семья переехала в Черновицы, где он стал учиться профессии портного, давал репетиторские уроки ученикам младших классов, вечером посещал румынскую гимназию, затем — курсы еврейских учителей. Одним из его учителей был Элиэзер Штейнбарг, с баснями и пьесами которого он познакомился в 9 лет и который оказал на него большое влияние.
В 1934 году дебютировал в газете «Черновицер блетер» (идиш ????????????? ??????, «Черновицкие листки») с первым рассказом на идише — «На лесосплаве» (идиш ????? ??????????? афн плитнтрайб). Решение писать на идише, а не на немецком (литературном языке ассимилированного еврейского населения города), было сознательным. С тех пор в еврейской печати стали постоянно появляться его короткие новеллы, посвящённые в основном природе Карпат и людям Буковины. Они публикуются в «Черновицер блетер» вплоть до её закрытия румынскими властями в конце 1937 года в связи с запретом на еврейскую периодику в стране.
В 1935—1938 учился на факультете немецкой филологии Венского университета. После аншлюса был вынужден прекратить учёбу и вернулся в Черновицы.
В 1939 и 1940 годах в Бухаресте выходят два дебютных сборника рассказов Иосифа Бурга — «На Черемоше» («?????? ???????» афн чермуш) и «Яд» («??» сам).
В 1940 году после присоединения Северной Буковины к СССР принял советское гражданство. В 1941 году по рекомендации Ицика Фефера был принят в Союз писателей СССР, но членский билет получить не успел. В начале войны успел эвакуироваться, мать была депортирована из города и погибла в Транснистрии. В эвакуации вначале оказался в АССР немцев Поволжья, затем жил в Узбекистане.
Вернувшись в Черновцы после войны, работал преподавателем немецкого языка. Кампания борьбы с «космополитизмом» и разгром еврейской культуры в СССР повергли Бурга в состояние творческого шока, и в его писательской деятельности наступает большой перерыв (ощущения того времени Бург передаёт в своей новелле «Рус».) Он уезжает из Черновцов, вынужденный бросить работу на кафедре в институте и диссертацию по творчеству Гейне.
В 1950-х годах преподаёт немецкий язык и литературу на Урале и в Москве.
В 1958 году вместе с семьёй (женой и дочерью), возвращается в Черновцы, найдя город полностью изменившимся. Продолжает работать учителем немецкого языка и пишет на идише «в стол». В 1967 году в единственном в СССР издании на идише — московском журнале «Советиш геймланд» — впервые появляется его новый рассказ «Возвращение» («????? ????» цурик а?ейм). В 1980 году выходит его первая книга в СССР — сборник рассказов «Жизнь продолжается» («???? ???? ???? ???????» дос лэбм гейт вайтер). В 1987 году его вновь принимают в Союз писателей СССР.
В эпоху перестройки активно включился в возрождение национальной жизни еврейской общины Черновцов, возглавил Общество еврейской культуры, названное в честь классика еврейской литературы, баснописца Элиезера Штейнбарга. В конце 1990 года общество после перерыва в 53 года возобновило издание газеты «Черновицкие листки» (на этот раз двуязычной — на русском языке и идише), её редактором стал Иосиф Бург.
Книги новелл и рассказов «Яд», «Жизнь продолжается», «Перекличка времён», «Запоздавший отголосок», «Цветы и слёзы» отдельными изданиями выходили в ФРГ, Австрии, Израиле, Италии в переводах на несколько европейских языков. В 2007 году к 95-летнему юбилею И. Бурга были изданы две его новые книги — «Девять» (на немецком языке) и «Встречи» (на идише).
Существуют двуязычные немецко-идишские издания, в которых текст на идише набран латинским шрифтом.
В Вижнице улица, где писатель жил в детстве, при жизни была названа его именем.