Доктор экономических наук (1935).
Родился в еврейской семье. Закончил 6 классов еврейского коммерческого училища. В 1904—1911 годах работал конторщиком и был домашним учителем. В 1907—1910 годах — член рабочей сионистской партии «Поалей Цион».
С 1911 года в русской армии. Служил во 2-ой гренадерской артиллерийской бригаде. В 1912 году получил звание бомбардира (звание в артиллерии, соответствовало званию ефрейтора в пехоте и кавалерии). Позже получил звание фейерверкера. (Старшее унтер-офицерское звание в артиллерии). До 1917 года — в артиллерии.
В 1918 году вступил в коммунистическую партию и до 1920 года был на политработе в Красной армии (комиссар бригады, затем 46-ой дивизии, группы войск).
В 1921—1922 годах — управляющий административной инспекцией в Народном комиссариате рабоче-крестьянской инспекции (нарком И. В. Сталин). В 1922—1926 годах — помощник секретаря и заведующий бюро секретариата ЦК, фактически личный секретарь И. В. Сталина. В 1926—1930 годах учился на курсах при Коммунистической академии и в Институте красной профессуры. С 1930 года — заведующий отделом печати ЦК, одновременно член редколлегии, а затем главный редактор газеты «Правда». При нём гранки газеты стали доставляться в Ленинград по воздуху и читатели города трёх революций получали выпуски «Правды» день в день. С 1932 года «почтовое звено», в которое входили лучшие лётчики страны, возглавил Леонард Крузе.
В 1937—1940 годах — заместитель наркома обороны и начальник Главного политуправления Красной армии.
С 1939 года член ЦК ВКП(б) (кандидат с 1934 года), в 1938—1952 годах — член Оргбюро ЦК, в 1940—1941 годах — нарком Госконтроля. В июне 1941 года вновь назначен начальником Главного политуправления и заместителем наркома обороны. Мехлису было присвоено звание армейский комиссар 1-го ранга, что соответствовало званию генерала армии.
В 1942 году был представителем ставки Верховного главнокомандующего на Крымском фронте, где постоянно конфликтовал с генералом Д. Т. Козловым. Руководители штаба фронта не знали, чьи указания выполнять — командующего или Мехлиса. Командующий Северо-Кавказским направлением маршал Буденный тоже не мог воздействовать на Мехлиса, который упорно не желал ему подчиняться, ссылаясь на то, что все указания получает напрямую из Ставки.
Мехлис во время пребывания на посту представителя Ставки занимался тем, что писал довольно критичные доклады на старших офицеров. После одного из таких докладов с должности начальника штаба фронта был снят генерал-майор Толбухин, который имел неосторожность в противовес указанию Сталина высказать мнение о необходимости для фронта учесть необходимость обороняться. Так же пытался через Ставку заменить командующего фронтом Козлова на Рокоссовского или Клыкова. В то же время в докладах Сталину пытался дистанцироваться от неудач, которые терпел Крымский фронт, и возложить всю ответственность на командование фронтом. Сталин по этому поводу направил Мехлису телеграмму, в которой подверг его жёсткой критике за подобное поведение:
После разгрома в мае 1942 года Крымского фронта (из 250 тысяч бойцов и командиров Крымского фронта за 12 дней боёв было потеряно безвозвратно 162 282 человека — 65 %) был снят с постов замнаркома обороны и начальника Главного политуправления Красной Армии, понижен в звании на две ступени — до корпусного комиссара.
В 1942—1946 годах — член военных советов ряда армий и фронтов, с 6 декабря 1942 года — генерал-лейтенант, с 29 июля 1944 года — генерал-полковник.
В 1946—1950 годах — министр Государственного контроля СССР. 27 октября 1950 года уволен по состоянию здоровья.
После смерти в феврале 1953 году был кремирован, прах помещён в урне в Кремлёвской стене на Красной площади в Москве.
Супруга А. И. Угарова вспоминала о Л. Мехлисе: «Был он у нас в Ленинграде в двадцать восьмом году. Тяжёлый человек… Ох, и помучился же с ним Александр Иванович, да и Сергею Мироновичу тоже пришлось не сладко».
По рассказам бывшего министра здравоохранения СССР Е.И. Смирнова в 1949 году он предложил Сталину поставить Мехлиса (министра Государственного контроля) во главе одной из правительственных комиссий. На это Сталин "начал хохотать, схватившись за живот и вытирая слезы":
По воспоминаниям Н. С. Хрущёва: «Это был воистину честнейший человек, но кое в чём сумасшедший, что выражалось в его мании везде видеть врагов и вредителей.»
Поэт, писатель, публицист и журналист Ф.И. Чуев приводит разговор, который состоялся между Сталиным и писателями Фадеевым и Макарьевым о главном редакторе "Правды" Мехлисе. Сталин на жалобы писателей несколько раз повторил: "Это страшный человек, Мехлис. Просите о чем угодно, но с ним я ничего не могу сделать".
Генерал Александр Горбатов, будучи реабилитированным и восстановленым на службе, испытывал на себе подозрительность Мехлиса: