Родился в семье врача. Учился в Одесском реальном училище св. Павла. Закончил среднюю школу в Москве, в 1923 году. В 1925 году поступил во ВХУТЕМАС.
Участник Великой Отечественной войны, награждён медалью «За боевые заслуги» (1941) и орденом Отечественной войны I степени (1944).
Дважды репрессирован, перед войной и в 1944 году, провёл в заключении в общей сложности 11 лет.
На протяжении многих лет жизнь и творчество Штейнберга были неразрывно связаны с Тарусой. В Тарусе он поселился перед войной, здесь у него был зачат сын Эдуард, будущий художник. После освобождения из лагеря Штейнберг в соответствии с действующими ограничениями долгое время не имел права жить и быть прописанным в Москве, так как ему, как и всем бывшим заключенным, было запрещено проживать в Москве, Ленинграде и в столицах союзных республик; поэтому он поселился в Тарусе. Московскую прописку получил лишь через несколько лет, но сохранял дом в Тарусе как летнее жильё и мастерскую. Позднее (в конце 1960-х гг.), после развода с женой Валнтиной Алоничевой, был вынужден продать свой тарусский дом младшему сыну Борису (Боруху) и в дальнейшем купил себе дом в деревне Юминское Калининской области, где проводил каждое лето и где скончался.
Похоронен на Кунцевском кладбище.
Дети: от первого брака — сын Ясень, от второго (с Валентиной Алоничевой) — Борух (Борис) и Эдуард, художник-нонкоформист, представитель «геометрического» направления в современном искусстве.
До начала 1930-х гг. изредка печатал стихи в журналах и газетах, позже стал переводчиком поэзии народов СССР. Среди работ в этой области — книга стихов классика еврейской поэзии на идише Ошера Шварцмана, переложения якутской эпической поэмы-сказания «Богатырь на гнедом коне» и поэмы-сказки Е. Букова «Андриеш».
Был одним из инициаторов, составителей и редакторов сборника «Тарусские страницы» (Калуга, 1961), где опубликована первая (и единственная прижизненная) полноценная подборка его стихотворений.
Главные и наиболее известные работы в жанре поэтического перевода (или поэтического переложения, по выражению самого Штейнберга) — поэма Дж. Мильтона «Потерянный рай» и книга стихов китайского поэта и художника эпохи Тан Ван Вэя. Отдельными изданиями в переводе Штейнберга выходили книги стихов Нгуен Зу () (с вьетнамского) и Джордже Топырчану (с румынского). Также в числе переведённых авторов — У. Вордсворт, Р. Саути, Дж. Китс, Д. Томас, А. Рембо (в соавторстве с Э. Багрицким), Ф. Гёльдерлин, Э. Мёрике, Г. Гейне, С. Георге, Б. Брехт, Ю. Тувим, К. И. Галчинский и др.
Среди учеников в области литературы, поэзии и перевода — Е. В. Витковский, Р. М. Дубровкин, В. Г. Тихомиров. Живопись и графика Штейнберга повлияла на Бориса Свешникова, Валентина Воробьева.