Сын крестьянина-литовца. В 1915 г. призван в армию. Участник 1-й мировой войны. В 1917 году окончил школу прапорщиков, командовал батальоном. В феврале 1917 вступил в РСДРП, большевик.
В апреле 1918 в Полоцке вместе со своим батальоном вступил в Красную армию. С мая 1918 года — военком Витебского военного комиссариата, с сентября 1918 по май 1919 комиссар 1-й Смоленской (позже 26-я стрелковая) дивизии, с мая 1919 г. — командир 228-го Карельского полка, с июля — командир 2-й бригады этой дивизии, с декабря 1919 — начальник 27-й стрелковой дивизии, действовавшей на Восточном фронте против колчаковцев.
Участник советско-польской войны 1920—1921, подавления Кронштадтского восстания (1921) и подавления крестьянских восстаний на Нижней Волге.
В 1923 году примыкал к троцкистской оппозиции, от которой впоследствии отошёл. Учился на Военно-академических курсах высшего комсостава РККА (1923). С [1923] начальник и комиссар 2-й Московской пехотной школы, работал в центральном аппарате РККА, командир корпуса.
В Китае с 1923 года. Первый руководитель Калганской группы военных советников.
В 1927—1931 годах — военный атташе в Японии, Финляндии, Германии. В 1931 г. назначен командующим Приморской группой войск ОКДВА.
Майор Я. Е. Гладких, служивший в Приморской группе войск ОКДВА с 1933 года вспоминал:
С 1934 года — военный атташе в Великобритании.
В 1936 году отозван в СССР и 20 августа 1936 г. арестован (См. Дело Тухачевского). На следствии к нему применялись пытки. Признал себя виновным в участии в антисоветском, троцкистском, военно-фашистском заговоре. Вместе с М. Н. Тухачевским, И. Э. Якиром, И. П. Уборевичем Специальным присутствием Верховного суда СССР 11 июня 1937 приговорен к смертной казни и в ночь на 12 июня расстрелян в подвале Военной коллегии Верховного Суда СССР. Реабилитирован 15 января 1957 г.