Илья Френкель родился 9 октября 1903 года (по другим данным — 22 ноября) в местечке Меджибож Подольской губернии Российской империи (ныне — поселок Хмельницкой области Украины). Детские годы провёл в Кургане Тобольской губернии, куда были сосланы его родители.
Учился во ВХУТЕМАСе. Работал корреспондентом в газетах, редактором в издательстве «Молодая гвардия». Дебютировал в печати в 1920-е годы.
Первый сборник стихов Ильи Френкеля «Песня и стих», получивший благословение Эдуарда Багрицкого, вышел в 1935 году и был замечены лучшими поэтами того времени. Его заметили Асеев, Прокофьев, Пастернак.
Илья Львович прошёл всю Великую Отечественную войну и написал немало стихотворений о войне, одно из самых известных — «Давай закурим». Во время Великой Отечественной войны майор Френкель был спецкорреспондентом фронтовой газеты «За честь Родины». В июне 1942 года награждён орденом Красной Звезды, а в октябре 1943 года — орденом Боевого Красного Знамени.
В предисловии к одному из своих многочисленных сборников стихов он говорил, что «в стихе надо жить той же самой жизнью, какая формирует поэта, как гражданина. И чем только можешь помогать ищущим себя поэтам». Константин Симонов говорил о его стихах: «Бывает так — стихи как будто негромкие, а сила в них неподдельная, настоящая, не поддающаяся износу».
Также занимался поэтическими переводами (в частности, с польского языка). Известен и в качестве автора стихотворных произведений на суржике (не опубликованы).
В 1984 году вышла автобиографическая повесть Френкеля «Река времён», в которой автор рассказывает «о времени и о себе».
Умер поэт 2 марта 1994 года в Москве. Похоронен на Ваганьковском кладбище.
У Ильи Френкеля было трое детей: две дочери — Софья и Марина и сын Андрей. Он любил и свою приёмную дочь Викторию Яглинг, её сына Виктора Шестопала считал своим внуком.