Я. Е. Эльсберг родился 9 (22) мая 1901 года в Одессе в богатой еврейской семье. В 1918—1919 годах учился на историко-филологическом факультете МГУ. В годы НЭПа был замешан с махинациями бриллиантами, но сумел избежать наказания. Некоторое время состоял секретарём Л. Б. Каменева, который тогда возглавлял ИМЛИ. Печататься начал в 1920 году. Выступал с программными критическими статьями о советской литературе в рапповском журнале «На литературном посту». Сборники критических статей «Кризис попутчиков и настроения интеллигенции» (1930) и «Черты литературы последних лет» (1961). С 1953 года — научный сотрудник ИМЛИ. Книги «Общественный смысл русского литературного футуризма» (1922), «Во внутренней тюрьме ГПУ. (Наблюдения арестованного)» (1924), «Стиль Щедрина» (1940), «Салтыков-Щедрин. Жизнь и творчество» (1953), «Стиль Горького и стилевые искания советской прозы» (1968), «А. И. Герцен. Былое и думы» (1930), «А. И. Герцен. Жизнь и творчество» (1948). Ряд работ посвящён проблемам теории и методологии (о сатире, стиле, реализме, социалистическом реализме), борьбе с буржуазным литературоведением. Книги «О бесспорном и спорном. Новаторство социалистического реализма и классическое наследство» (1959), «Современная буржуазная литературная теория» (1972). Доктор филологических наук.
Существуют резко негативные оценки деятельности Я. Е. Эльсберга. Считается, что он является автором множества доносов на своих коллег (например И. Э. Бабеля, С. А. Макашина, Е. Л. Штейнберга, Л. Е. Пинского и др.). Репутация его была настолько одиозна, что статья в КЛЭ о нём опубликована с подписью «Г. П. Уткин», с намёком на учреждение, с которым он сотрудничал.