Игорь Губерман родился 7 июля 1936 года в Харькове. После школы поступил в Московский институт инженеров железнодорожного транспорта (МИИТ). В 1958 году окончил МИИТ, получив диплом инженера-электрика. Несколько лет работал по специальности, параллельно занимаясь литературой.
В конце 1950-х познакомился с А. Гинзбургом, издававшим один из первых самиздатских журналов, «Синтаксис», а также с рядом других свободолюбивых философов, деятелей литературы, изобразительного искусства. Писал научно-популярные книги, но все активнее проявлял себя как поэт-диссидент. В своем «неофициальном» творчестве использовал псевдонимы, например И. Миронов, Абрам Хайям.
В 1979 году Губерман был арестован и приговорен к пяти годам лишения свободы. Не желая лишнего политического процесса власти судили Губермана как уголовника по статье за спекуляцию.
Попал в лагерь, где вел дневники. Затем, уже в период ссылки, на базе этих дневников была написана книга «Прогулки вокруг барака» (в 1980 написана, опубликована в 1988). В 1984 году поэт вернулся из Сибири. Долго не мог прописаться в городе и устроиться на работу.
В 1987 году Губерман эмигрировал из СССР, с 1988 года живёт в Иерусалиме. Часто приезжает в Россию, выступая на поэтических вечерах.
Старший брат И. М. Губермана — академик РАЕН Давид Миронович Губерман — директор Научно-производственного центра «Кольская сверхглубокая», был одним из авторов проекта бурения сверхглубоких скважин.