В детстве лишился родителей. После их смерти жил у родственников, которые на некоторое время отдали его в детский дом. («Как рассказать о родичах моих / За давностью бестрепетно и просто?.. / Куда больней привычного сиротства / Я ощутил немудрость их сердец». И. Габай).
Отслужив в армии, поступил в МГПИ, который закончил в 1962 году.
По окончании института работал учителем русского языка и литературы, сначала в школах на периферии, затем в Москве. Десятилетним мальчиком начал писать стихи
5 декабря 1965 года участвовал в «митинге гласности».
21 января 1967 года участвовал в демонстрации в защиту арестованных диссидентов Юрия Галанскова, Веры Лашковой, Алексея Добровольского и Петра Радзиевского. Среди организаторов демонстрации были Владимир Буковский, Виктор Хаустов, Вадим Делоне и Евгений Кушев.
26 января был арестован за участие в демонстрации 21 января 1967 года и заключён в СИЗО «Лефортово». Габаю были предъявлены обвинения по статье 190-3 УК РСФСР («Организация или активное участие в групповых действиях, нарушающих общественный порядок»). 26 мая 1967 года он был освобождён ввиду отсутствия состава преступления, а в августе уголовное дело против Габая было прекращено.
В январе 1968 года составил и подписал ряд правозащитных документов. Совместно с Юлием Кимом и Петром Якиром написал известное обращение «К деятелям науки, культуры, искусства», в котором говорилось о политических преследованиях и ресталинизации. В феврале подписал письмо к Президиуму Консультативного совещания коммунистических и рабочих партий в Будапеште. Посвятил осуждённым по делу о «демонстрации семерых» на Красной площади очерк «У закрытых дверей открытого суда». Работал над выпусками периодического издания правозащитников «Хроника текущих событий», созданного Натальей Горбаневской. Познакомился с представителями движения крымских татар (Зампирой Асановой, Роланом Кадыевым, Мустафой Джемилевым), помогал им подготавливать документы («Информации»).
КГБ провёл на квартире Габая несколько обысков, были изъяты материалы крымско-татарского движения. 15 апреля на заседании Политбюро ЦК КПСС было принято решение по предложению Прокуратуры СССР и КГБ лишить советского гражданства Габая и Марченко, но это решение не было осуществлено.
19 мая 1969 года — по обвинению в «клевете на советский строй» был отправлен самолетом на следствие в Ташкент.
В январе 1970 года решением ташкентского суда был приговорён по статье 190-1 УК РСФСР («Распространение заведомо ложных измышлений, порочащих советский строй») к трём годам заключения за участие в крымско-татарском движении. Осудили также лидера этого движения Мустафу Джемилева. В своём последнем слове Габай сказал: «Сознание своей невиновности, убеждённость в своей правоте исключают для меня возможность просить о смягчении приговора. Я верю в конечное торжество справедливости и здравого смысла и уверен, что приговор рано или поздно будет отменён временем». В августе был отправлен под конвоем в Кемеровскую область. Прибыл в лагерь общего режима, где написал поэму «Выбранные места». Сохранились его письма друзьям, написанные из лагеря.
16 марта 1972 года Габай был переведён в Москву для дачи показаний по новому делу («делу № 24», связанному с публикациями «Хроники текущих событий»). Габая неоднократно допрашивали. В мае он был освобождён, безуспешно пытался устроиться на работу, возникла угроза нового ареста. Пётр Якир и Виктор Красин дали показания против Габая, публично каялись по телевидению. 20 октября Илья Габай совершил самоубийство (выбросился с балкона одиннадцатого этажа). В «Хронике текущих событий» был опубликован некролог
Хотя Габай не был верующим, по самоубийце отслужили заупокойную службу в православном храме в Москве, в синагоге в Иерусалиме, также в мусульманской мечети. В январе 1974 года урна с прахом Габая была похоронена в Баку на еврейском кладбище, памятник на могиле был создан скульптором Вадимом Сидуром.
При жизни Илья Габай печатался только в самиздате. В 1990-е годы вышло несколько сборников Габая:
Подробно о жизни и творчестве Габая см. М. Харитонов «Участь» в кн. Марк Харитонов «Способ существованимя», М. НЛО, 1997, с.223 — 287
Юлий Ким об одном из произведений Габая писал:
Вдова Ильи Габая Галина Габай с сыном и дочерью эмигрировали в 1974 году в США.