Реабилитирован КПК при ЦК КПСС в партийном отношении 7 октября 1955 года.
Родился в интеллигентной еврейской семье 2 июня 1894 года.
Учился в гимназии, но с 15 лет был вынужден добывать себе средства к существованию. В 17 лет заинтересовался марксизмом.
В 1913 году, окончив гимназию с серебряной медалью, переехал в г. Малин Киевской губернии и стал репетитором. В 1914 поступил в Петербургский психоневрологический институт, но, не увлёкшись врачебной деятельностью, в 1915 перевелся на юридический факультет Киевского университета. Познакомившись с руководителями большевистского подполья на Украине Н. А. Скрыпником и С. В. Косиором, оказавшими на него большое влияние, Гамарник в 1916 стал членом РСДРП(б). Вёл пропаганду на киевском заводе «Арсенал».
После Февральской революции 1917 Гамарник возглавлял Киевский комитет РСДРП(б).
После Октябрьской революции в Петрограде был арестован властями вместе с руководителями киевских большевиков. Был освобожден вооруженным восстанием 31 октября 1917.
В 1918—1919 годах — на подпольной партийной работе на Украине. В 1918 приехал в Москву, познакомился с В. И. Лениным и был избран в состав ЦК КП(б)У. Участвовал в подавлении мятежа левых эсеров. В 1918 г. заместитель председателя Киевского Совета.
С 1919 года председатель Одесского губкома партии.
В августе 1919 года Гамарник был назначен членом РВС Южной группы войск 12-й армии. В феврале 1920 после разгрома деникинцев Гамарник был председателем Киевского губкома партии и Киевского губисполкома.
С июля 1923 года — председатель Приморского губисполкома, в июне 1924 года — председатель Дальревкома, а с марта 1926 года — Дальневосточного крайисполкома.
В 1927—1928 гг. первый секретарь Дальневосточного крайкома партии. Много занимался промышленным развитием Дальнего Востока, при его участии разрабатывался и осуществлялся 10-летний план (1926—1935) подъема экономики края. Поддержал украинизацию юга Дальнего Востока, где в разных его районах проживало от 60 до 80 % украинцев.
С февраля 1928 года по октябрь 1929 года — первый секретарь ЦК КП(б) Белоруссии. Поддерживал политику коллективизации.
В 1929—1937 годах начальник Политуправления РККА, одновременно ответственный редактор газеты «Красная звезда». Через Гамарника осуществлялась связь между руководством Наркомата обороны и органами государственной безопасности.
В 1930—1934 годах первый зам. наркома по военным и морским делам СССР Ворошилова и зам. председателя Реввоенсовета СССР. Оказывал всемерное содействие Тухачевскому в осуществлении технической реконструкции Красной Армии и сыграл большую роль в повышении боеготовности РККА.
На ноябрьском Пленуме ЦК 1929 Гамарник поддержал Сталина в разгроме «правой оппозиции»:
Речь шла о Н. И. Бухарине, А. И. Рыкове, М. П. Томском.
В 1934—1937 годах первый зам. наркома обороны СССР. Выступил в защиту Тухачевского, заявив Сталину, что в его отношении совершена ошибка. 13 марта 1937 г. назначен уполномоченным Наркомата обороны СССР при Совнаркоме РСФСР.
Гамарнику первому в Красной Армии 20 ноября 1935 года было присвоено воинское звание армейского комиссара 1-го ранга, соответствующее званию командарма 1-го ранга.
Делегат 10—17-го съездов партии. На 14-м съезде избирался кандидатом в члены ЦК партии, на 15—17-м — член ЦК ВКП(б). Член ВЦИК и ЦИК СССР.
20 мая 1937 года Гамарника сняли с поста начальника Политуправления РККА и понизили до должности члена Военного совета Среднеазиатского военного округа.
30 мая 1937 года Политбюро ЦК ВКП(б) приняло решение: «Отстранить тт. Гамарника и Аронштама от работы в Наркомате обороны и исключить из состава Военного Совета, как работников, находившихся в тесной групповой связи с Якиром, исключенным ныне из партии за участие в военно-фашистском заговоре»..
31 мая Нарком обороны К. Е. Ворошилов отдал приказ заместителю начальника Политуправления РККА А. С. Булину и управляющему делами Наркомата обороны И. В. Смородинову сообщить Гамарнику, находишемуся у себя на квартире в связи с болезнью, о решениях Политбюро. Они так же объявили Гамарнику приказ народного комиссара обороны об увольнении его из рядов РККА. Сразу же после их ухода Гамарник застрелился накануне неизбежного ареста..
1 июня газета «Правда» и другие советские издания опубликовали короткое сообщение: «Бывший член ЦК ВКП(б) Я. Б. Гамарник, запутавшись в своих связях с антисоветскими элементами и, видимо, боясь разоблачения, 31 мая покончил жизнь самоубийством». Его имя упоминалось в приговоре по делу Тухачевского от 11 июня 1937 года.
После смерти объявлен «врагом народа», было установлено его участие «в антигосударственных связях с руководящими военными кругами одного из иностранных государств», шпионаже и ведении вредительской работы.
Показания на Гамарника дали многие из фигурантов дела Тухачевского. Иона Якир, первоначально указывавший, что Гамарник только сочувствовал военному заговору, в существовании которого признавались арестованные военачальники, затем изменил свои показания и заявил, что с 1936 года информировал Гамарника о «вредительской работе» проводимой в западных пограничных районах, а тот сообщал ему о своей работе по подрыву обороноспособности на Дальнем Востоке. Сам Тухачевский показал, что Гамарник был одним из 10 членов «центра» военного заговора с 1934 года и ведал подрывной деятельностью на Дальнем Востоке. Иероним Уборевич ограничился предположением, что Гамарник мог входить в состав руководства «заговора Тухачевского». Витовт Путна, Борис Фельдман и Август Корк участия Гамарника в заговоре не подтвердили..
После этого было репрессировано большое число политработников — назначенцев Гамарника.
В 1955 году Гамарник И. М. и две сестры Яна Борисовича — Богомолова-Гамарник К. Б. и Гамарник Ф. Б. направили в Прокуратуру СССР жалобы, в которых указали на необоснованность обвинений против Я. Б. Гамарника. 6 августа 1955 года Президиум ЦК КПСС по представлению Генерального прокурора СССР Руденко от 22 июля 1955 года особым постановлением признал выдвинутые против Я. Б. Гамарника обвинения в антисоветской деятельности необоснованными. В партийном отношении Гамарник был реабилитирован решением Комитета партийного контроля при ЦК КПСС от 7 октября 1955 года.
Был награждён орденом Ленина (Приказ Реввоенсовета СССР по личному составу от 22 февраля 1933 года № 337) и орденом Красного Знамени.