Закончил операторский факультет ВГИК в 1942 году. В 1942—1950 годах — оператор Центральной студии кинохроники-ЦСДФ. В качестве фронтового оператора прошёл Западный и Второй Украинский фронты, снимал на Черноморском флоте.
В 1950—1951 годах — оператор Северо-Кавказской студии кинохроники, в 1951—1953 годах на Сталинабадской киностудии. С 1953 по 1969 год — оператор киностудии «Союзмультфильм». В 1969—1989 годах — оператор объединения Экран ЦТ. Среди его работ — около семидесяти мультипликационных фильмов.
Голомб — первый оператор, приступивший к покадровым съёмкам в послевоенном кукольном кино. По сути возрождение объёмной мультипликации в России началось с Иосифа Голомба, режиссёра Евгения Мигунова и их фильма «Карандаш и Клякса — весёлые охотники» (1954). Иосиф Голомб — один из создателей студии «Мульттелефильм» знаменитого творческого объединения «Экран». Первые в стране телесериалы о приключениях Незнайки снимал И. Голомб.
Также стоял у истоков создания анимационной студии «Пилот».