Закончил историко-филологический факультет Императорского университета святого Владимира в Киеве (1913), но дипломные работы писал одновременно по филологическому и философскому факультету — о поэзии Сапфо и философии Риккерта. Ещё студентом начал переводить древнегреческих поэтов (ученик проф. А. И. Сонни). Издал сборник стихотворений «Сад души» (Киев, 1916, под псевдонимом Якоб Сильв). После университета работал директором гимназии в Москве. Сотрудничал с Наркомпросом.
В 1919—1920 был направлен Луначарским в Крым для обеспечения охраны памятников культуры. По возвращении читал лекции по античной культуре в различных вузах столицы, в том числе — по приглашению В. Брюсова в созданном им Высшем литературно-художественном институте и во Втором МГУ. В конце 1920-х годов слушал в Берлине лекции знаменитого филолога-античника Виламовиц-Мёллендорфа. В 1930-е годы занимался переводами древнегреческих лириков, немецких романтиков (Гёльдерлин и др.), Ницше (для издательства «Academia»), писал работы по философии, теории перевода, истории литературы, художественные произведения. Был близок с В. Вересаевым, Б. Ярхо, С. Кржижановским. В 1925—1928 годах Голосовкер написал роман под названием «Запись неистребимая».
В 1936 был арестован, три года провел в лагере в Воркуте, затем, в 1939—1942 — в ссылке в городе Александров под Москвой. Рукописи писателя дважды погибали — в 1937 (уничтоженные другом после ареста Голосовкера) и в 1943 при пожаре дома. Написанное было им частично восстановлено после возвращения из ссылки. Так был восстановлен «Сожженный роман» («Запись неистребимая») (опубликован в 1991, переведен на французский, немецкий, польский языки).
В конце войны вокруг Голосовкера сложился Горацианский кружок переводчиков античной лирики, куда входили Борис Пастернак, Арсений Тарковский, Илья Сельвинский и другие. В 1963 издал книгу «Достоевский и Кант: Размышления читателя о романе Ф. М. Достоевского "Братья Карамазовы" и трактате И. Канта "Критика чистого разума"».
Похоронен на подмосковном кладбище в Переделкине.
Сестра — Маргарита Эммануиловна Голосовкер (19 апреля 1889 — 8 ноября 1955) — музеевед, была заведующей сектором художественной иллюстрации Института мировой литературы АН СССР (1935-49), жена Отто Шмидта.
Глубоко пережил немецкий романтизм, через его призму, влияние Ницше и русского символизма (Вячеслав Иванов) воспринял античность. Развивавшаяся Голосовкером философия воображения также представляла собой глубоко личное развитие философской антропологии немецкого романтизма. Многие рукописи литературных и философских сочинений из архива Голосовкера, его переводы опубликованы лишь после смерти автора. Фигура философа стала по-своему легендарной: ему посвящены новелла Леонида Мартынова, стихи Юрия Айхенвальда и другие.
11 июня 2008 г. в музее Булгакова в Киеве был литературный семинар о Якове Эммануиловиче Голосовкере.