Родился в Астрахани в еврейской семье сапожника, окончил Астраханское городское училище, в 1900 уехал в Одессу поступать в университет, там в 1901 вступил в РСДРП, участвовал в первой русской революции 1905 года, был членом военного комитета Петербургской, потом финляндской организации РСДРП, способствовал побегу с гауптвахты города Выборга группы военнослужащих, арестованных за бунт, вёл революционную пропаганду. В ноябре 1906 выступал на Таммерфорсской конференции военных и боевых организаций РСДРП. В 1907 году был арестован. По делу Финляндской военной организации РСДРП(б) в сентябре 1909 года Петербургским военно-окружным судом приговорён к 8 годам каторги и сослан в Сибирь.
После февральской революции 1917 выпущен, переезжает в Иркутск, где работает редактором социал-демократической газеты, а в октябре 1917 становится членом Центрального исполкома советов Сибири, управляющим делами Сибирского СНК, членом сибирской ЧК и членом Военно-Революционного комитета Сибири и Забайкалья. В этом качестве он организовал борьбу с контрреволюцией в Сибири.
До 1921 Трилиссер находился на нелегальной работе в Благовещенске и организовал на Дальнем Востоке систему разведки и конспиративной связи большевиков, создал большую агентурную сеть и снабжал Москву информацией о действиях и планах японцев и белых. После ухода японцев Трилиссер стал секретарём Амурского обкома РКП(б), председателем Амурского областного ревкома и редактором газеты «Амурская правда». После образования в 1921 г. Дальневосточной советской республики его назначили комиссаром ДВР в Амурской области и членом Госполитохраны ДВР.
В феврале 1921 Трилиссер участвовал в работе Х съезда РКП(б) в Москве, и Феликс Дзержинский предложил ему работать в центральном аппарате ВЧК, чтобы наладить систему внешней разведки. Трилиссер согласился и поступил в закордонную часть Иностранного отдела (ИНО), с декабря 1921 — помощником начальника ИНО ВЧК, одновременно был заведующим Дальневосточного отдела Исполкома Коминтерна, вёл работу по экспорту революции в Монголию, Китай и сопредельные страны. В марте 1922 Трилиссер назначен начальником Иностранного отдела ГПУ (ИНО ГПУ) вместо С. Могилевского, посланного на Кавказ .
На этой должности М. А. Трилиссер организовал всю систему внешней (закордонной) разведки ВЧК-ГПУ, наладил работу резидентур и подобрал кадры советской разведки, в число которых вошли: А. А. Слуцкий, С. М. Шпигельглас, Я. Г. Минскер, А. Нейман, С. Вележев, А. Мюллер, Я. Г. Блюмкин, И. С. Рейсс, С. Гинзбург, Г. Агабеков, М. Аксельрод, И. Герт, Л. Е. Маневич, А. Розенгольц, Л.Л. Фельдбин, З. Нестерович, Э. Гольденштейн, М. Гольдберг и другие чекисты.
Главной целью внешней разведки ВЧК М. А. Трилиссер поставил выявление нахождения, намерений и действий антисоветских и шпионских организаций, базирующихся за границами СССР и противодействие их деятельности. В каждом посольстве, представительстве и торгпредстве были организованы резидентуры, их работникам была предоставлена свобода вербовки агентов, а резиденты имели право включать их в агентурную сеть без согласования с руководством в Москве. Штаты сотрудников закордонной разведки выросли до 70 единиц, и их осведомлённость о намерениях врагов поражает воображение: так, во время подготовки Б. Савинковым и Г. Эльфенгреном покушения на членов советской делегации на конференции в Генуе (организованного английским агентом Сиднеем Рейли на деньги эмигрантского Торгово-промышленного комитета), Трилиссер читал их переписку и знал не только о намерениях террористов, но и где и какие пистолеты они приобрели. При этом Трилиссер не был кабинетным работником, а лично ездил за границу, где устраивал резидентуры и держал непосредственные контакты со своими агентами.
Для улучшения эффективности разведки в 1923 году было организовано межведомственное Особое бюро ГПУ по дезинформации — «в целях систематизации работы по введению в заблуждение иностранных государств о внутренней и внешней политике СССР, а также о состоянии его Вооружённых Сил и мероприятиях по обороне Республики». Это бюро занималось дезинформацией врагов советской власти и формированием у них неверных представлений и намерений, способствующих успешной борьбе с ними, и в дальнейшем имело главную роль в таких крупных операциях ГПУ, как «Трест», «Синдикат», и других.
В 1925 году Дзержинский (по совместительству тогда и председатель ВСНХ СССР) поставил перед ИНО ГПУ задачу получения экономической и научно-технической информации о достижениях буржуазных стран, и в 1926 году в ИНО ОГПУ было организовано Экономическое подразделение, руководить которым был назначен А. А. Слуцкий, быстро наладивший снабжение советской промышленности многочисленными сведениями и образцами необходимой ей технической и военной продукции (авиа- и радиотехники, автомоторов, химических технологий).
Дзержинский и курировавший разведку Менжинский высоко ценили работу Трилиссера, и в 1926 году его назначили заместителем начальника ОГПУ, а в феврале 1928 — уполномоченным ОГПУ при СНК СССР, при этом Трилиссер продолжал работать во внешней разведке, постоянно улучшая и расширяя её деятельность, численность аппарата ИНО достигла 122 сотрудников, 62 из которых находились в зарубежных резидентурах. Возглавлял внешнюю разведку до октября 1929 года.
В 1927—1934 — член ЦКК, с 1930 — член Президиума ЦКК ВКП (б) и член ВЦИК. Деятельность Трилиссера в разведке была пресечена начавшейся борьбой с троцкизмом: после серии провалов и предательств в закордонных резидентурах, в декабре 1930 года Сталин вызвал Трилиссера к себе и поручил ему «усилить работу органов нашей рабоче-крестьянской партии». Трилиссер возражать не стал, и перешёл на должность заместителя наркома Рабоче-крестьянской Инспекции, который занимал с 1930 по 1934. На XVII съезде ВКП (б) в 1934 избран членом Комиссии советского контроля при СНК СССР, уполномоченным по Дальневосточному краю. В 1935 ?1938 — член президиума и кандидат в члены секретариата Исполкома Коминтерна, где он работал под именем Михаил Александрович Москвин. В ИККИ курировал работу спецслужб, входил в комиссию секретариата ИККИ по переводу в ВКП (б) членов зарубежных компартий.
23 ноября 1938 года, в ходе «большой чистки», М. А. Трилиссер был снят со всех постов, исключён из партии и арестован. Содержался в Сухановской тюрьме. Военной коллегией Верховного Суда приговорён к смертной казни. Расстрелян 2 февраля 1940 года в Коммунарке. В 1957 году реабилитирован Военной коллегией Верховного Суда СССР. Астраханским обкомом КПСС восстановлен в партии.