Родился 2 (15) декабря 1907 года в крестьянской семье в еврейской земледельческой колонии Зеленополь, Екатеринославской губернии (в советское время Ново-Златопольский район Запорожской области Украины). В 1920 году осиротел. Воспитывался в детском доме в г. Бердянска.
В 1923—1924 гг. обучался в профтехшколе металлистов в г. Екатеринослава. В 1924—1925 гг. работал воспитателем в детской колонии в с. Ингулец, Криворожской области. В 1927 году по окончании рабфака в Одессе поступил на литфак 2-го МГУ.
Первую повесть «Вильдгроз» (Бурьян), в варианте перевода на русский язык «В степи», опубликовал в харьковском журнале «Ди ройте велт». В 1930 году были опубликованы две первые книги И. Гордона «Бурьян» и «На зеленой ниве» на языке идиш и первая книга «Бурьян» в переводе на русский язык. В 1931—1932 гг. работал заведующим литературной частью Межрайонного колхозного театра в Днепропетровской области. В 1932—1934 гг. обучался в аспирантуре МГПИ им. В. И. Ленина, по кончании которой два года работал доцентом Минского Пединститута им. А. М. Горького. С 1936 года целиком перешёл на литературную работу.
В 1935 году вышла в свет его книга «Рассказы и новеллы» и роман «Ингул Бояр», который в том же году опубликован в издательстве «Художественная литература» в переводе на русский язык. В 1938 году почти одновременно на языке идиш и в переводе на русский язык опубликована книга «Три брата».
В начале 1942 года добровольцем ушёл на фронт. В 1943 году был аттестован как политработник и из минометной бригады переведен во вновь созданную 4-ю Гвардейскую артиллерийскую дивизию Резерва Главного Командования в качестве литсотрудника газеты «За победу». В годы войны подготовил и выпустил более 2500 материалов: репортажей, очерков, листовок. В окопах вел занятия литературного кружка, из которого вышло несколько профессиональных писателей.
Один из биографов писателя в Википедии со ссылкой на книгу «Yiddishe Litterature: Its scope and major writers» by Charles Madison. NY: Shoken books, 1971 (книга данного автора под таким названием в этом издательстве не публиковалась), утверждает будто бы 20 ноября 1948 года Илья Гордон выступил с главным докладом на сессии ССП, посвященной свертыванию государственной поддержки идишистской литературы в СССР. Однако в РГАЛИ в архивах ССП отсутствуют какие-либо документы прямо или косвенно подтверждающие факт проведения такого собрания.
Приблизительно такие же измышления были публично озвучены в 1965 году на отчетно-выборном собрании московских писателей, но получили опровержение со стороны участников собрания, в том числе и реабилитированных еврейских писателей (РГАЛИ. Стенограмма отчетно-выборного собрания МО СП РСФСР от 21 января 1965 года), в результате чего Илья Гордон был выбран в Правление. После этого вплоть по 1989 года регулярно выбирался в Правление Московской писательской организации.
C 1957 года жил в Москве на улице Черняховской в доме 4, в ЖСК Московский писатель.
Участник Великой Отечественной войны. Член Союза советских писателей с 1934 года.
Умер писатель 28 февраля 1989 года.
Одним из первых обратился к тематике евреев-земледельцев, почти не встречавшейся в дореволюционной еврейской литературе. В предисловии к одной из своих книг следующими словами пишет о героях своих произведений: «Своеобразный быт, среда и условия жизни создали какого-то другого, не обычного еврея — „еврейского мужика“, как его называли в буржуазной еврейской литературе, умилявшейся по поводу того, что и среди евреев можно встретить физически крепкого человека».
О первом произведении писателя, написанном им в возрасте 19 лет, известный критик И. Добрушин писал:"Повесть Э. Гордона «Бурьян» — наше первое художественное произведение послевоенной прозы о развивающейся колхозной действительности. Повесть написана сильно и сочно с органическим знанием и проникновением в изображенную действительность". Высокую оценку критики получило также и следующее созданное 21-летним Э. Гордоном произведение, о котором профессор И Нусинов писал: «Такая его новелла, как „Ливень“, где он дает тоску крестьянина, который неделями ждет дождя, и его радость, что земля наполнилась влагой, могла бы сделать честь крупному, вполне сложившемуся мастеру».
В своих ранних произведениях: повестях «Бурьян», «Три брата» новелле «Ливень», романе «Ингул-Бояр» и ряде рассказов с большой художественной силой раскрывает быт, обычаи и психологию еврейских крестьян и описывает социальные процессы развития еврейской деревни.
После войны писатель продолжил работу над повестью «Три брата», которая после добавления трех новых частей трансформировался в одноимённый роман. Тема Великой Отечественной войны и участие в ней евреев нашла отражение в повести «Мать генерала» Описанию трудностей послевоеонного устройства жизни евреев-крестьян, вернувшихся в родные края после полного уничтожения гитлеровцами еврейских сельскохозяйственных поселений, посвящены повесть «Вначале их было двое» и ряд рассказов. Заметное место в творчестве писателя занимают его документально-художественные романы «Под жарким солцем» и «Маяки», которые посвящены описанию жизни и деятельности руководителя агроидустриального комплекса «Дружба народов» Героя Социалистического труда И. А. Егудина и его сподвижников, которые, изобретательно и умело преодолевая препоны административно-командной системы советского периода, создали образцовое хозяйство, неизменно добивающееся выдающихся результатов.
Эти произведения Ильи Гордона, изданные как на языке идиш, так и в переводе на русский язык, получили высокую оценку критики в ведущих литературно-художественных журналах и газетах страны таких, как «Новый мир». «Октябрь», «Дружба народов», «Литературная газета», «Литературная Россия».
Автор 11 книг на языке идиш и 12 книг, изданных в переводе на русский язык.
На языке идиш:
На русском языке: