Родился в Читинском уезде Забайкальской губернии в еврейской семье. Окончил Иркутское военное училище, прапорщик. Участник Октябрьской революции и Гражданской войны в Сибири. В 1918 вступил в РКП(б).
C 1918 — председатель уездной ЧК в Глазове Вятской губернии. За пьянство исключался из РКП(б) в 1918, но вскоре восстановлен. С 1920 по 1930 занимал должности председателей региональных органов ВЧК-ГПУ (Томской, Енисейской, Семипалатинской, Иркутской). В 1923—1924 нарком внутренних дел Бурят-Монгольской АССР. В 1924 году входил в состав редколлегии журнала «Жизнь Бурятии». В 1924 переведён на работу в Среднюю Азию. В 1924—1927 — полпред ОГПУ в Средней Азии. В 1927—1928 председатель ОГПУ УзССР.
С 1930 года — заместитель начальника, а с 9 июня 1932 — начальник ГУЛАГ (до 16 августа 1937). Одновременно был начальником переселенческого отдела НКВД (1936), начальником строительства канала Волга-Москва (1936—1937), с сентября 1936 по август 1937 — заместитель главы НКВД СССР.
Упоминается в романе Александра Солженицынa «Архипелаг ГУЛАГ»:
С августа 1937 года по декабрь 1938 года — народный комиссар связи СССР.
Член ЦИК СССР в 1935—1937 годах, депутат Верховного совета СССР 1-го созыва.
23 декабря исключён из ВКП(б) и 24 декабря 1938 года арестован прямо в кабинете Георгия Маленкова. Содержался в Лубянской тюрьме.
Расстрелян по приговору Военной коллегии Верховного Суда СССР 7 марта 1939 года на расстрельном полигоне «Коммунарка». Реабилитирован в 1957 году.