Родился в Динабурге (ныне Даугавпилс) в еврейской семье. С 1899 г. работал шорником в мастерских Двинска. В 1900—1908 член Бунда, революционер.
13 июня 1905 г. за покушение на пристава Военно-окружным судом приговорен к смертной казни через повешение, замененной пожизненной каторгой. В 1905—1907 гг. сидел в тюрьмах Вильно, Минска, Смоленска, Москвы. Находился на каторжных работах на постройке Амурской колесной дороги. В 1908 году бежал с сибирской каторги в США. Работал маляром на предприятиях Бостона, Нью-Йорка и Детройта. В 1909—1917 — член Социалистической партии Америки.
В 1917 г. вернулся в Россию, вступил в ВКП(б). В 1918 член коллегии Саратовской губЧК и комиссар милиции Саратова, в 1919 председатель Саратовской губернской ЧК. С мая 1919 года в ВЧК в Москве, член коллегии Секретного отдела ВЧК, начальник железнодорожной милиции и член коллегии Главмилиции. В 1920 заместитель председателя, а затем председатель Одесской губЧК. В ноябре 1921 г. по болезни отправлен в долгосрочный отпуск. В 1922 году был исключен из партии но вскоре восстановлен. С сентября 1922 — зам. начальника ЭКУ ГПУ.
С 1924 года на хозяйственной работе — председатель правления Камвольного треста и зампред правления АО «Овцевод», председатель правления 1-го Горшерстьтреста, начальник Шерстеуправления, член президиума ВСНХ, председатель правления «Харьковугля», председатель правления «Союзшерсть», начальник Главного управления шерстяной промышленности наркомата легкой промышленности СССР. В 1933—1934 годах — заместитель наркома легкой промышленности СССР. С 1934 года — член бюро Комиссии советского контроля, руководитель группы лёгкой промышленности.
Арестован 27 июня 1937 года. Значится в расстрельном списке Москва-Центр от 21 октября 1937 года, подписанном Сталиным, Молотовым, Кагановичем и Ворошиловым. Расстрелян по приговору ВКВС 30 октября 1937 на Коммунарке. Реабилитирован в 1956 году.
Личность чекиста Дейча была настолько значимой в Одессе эпохи военного коммунизма, что она стала частью фольклора. Одесский писатель и краевед Олег Губарь нашёл и опубликовал самодеятельные стихи 20-х годов XX века об Одессе, которые называются «Бунт в Одесской тюрьме». Есть в них строки о Дейче:
Раз в ЧК пришёл малютка,
стал он плакать и рыдать:
"У меня дела не шутка,
я ищу отца и мать".
Часовой ЧК смеётся:
"стал буржуйчик сиротой…
Если ищешь свою маму,
так пойдем-ка, брат, со мной".
Вот и двери кабинета,
где святилище ЧК,
утопая в мягких креслах,
на досуге спит пока.
"Стук-стук-стук", — стучатся в двери,
Дейч глаза с просоня трёт:
"Чёрт возьми, какого зверя
в неурочный час несёт?"
Приступая прямо к делу,
наш малютка-молодец:
"Дядя Дейч! отдайте маму!
Дядя? Где же мой отец?"
Дейч хохочет, Дейч смеётся,
Фишман взялся за бока:
и чего малютка хочет
получить от Губчека?
"Твой отец давно в могиле —
он расстрелян, как бандит,
И сейчас не знаю, право,
где же даже он зарыт.
Твоя мать лежит в больнице"
(…)
"Мне семь лет, сестрёнке восемь.
Нет отца. Забрали мать.
Прикажите нас повесить
или даже расстрелять".
Изойдя преступной целью,
Дейч велел в кратчайший срок
записать их в пионеры
на усиленный паёк.