Родился в семье рабочего-железнодорожника.
После окончания средней школы в 1941 году был призван в ряды Советской Армии.
Ветеран Великой Отечественной войны 1941—1945 гг. Принимал непосредственное участие в боевых действиях на Западном, Волховском, Ленинградском, Прибалтийском, Украинском фронтах. На фронте вступил в ряды КПСС (1943). С 1945 по 1947 проходил службу в Германии, Австрии, Венгрии, Туркестанском военном округе.
Окончил Азово-Черноморский сельскохозяйственный институт (1952).
После окончания института работал старшим агрономом в Маныч-Веселовской МТС Ростовской области.
В 1952—1953 — секретарь Веселовского райкома КПСС в Ростовской области. В 1953—1959 — первый секретарь Раздорского райкома КПСС в Ростовской области.
В 1959—1961 — инструктор отдела партийных органов по РСФСР в Центральном комитете КПСС.
В 1961 году занял пост второго секретаря Пензенского обкома КПСС и уже через несколько месяцев был избран 1-м секретарём обкома. В годы разделения обкома на промышленный и сельский, с января 1963 по декабрь 1964 гг. был 1-м секретарём Пензенского сельского обкома КПСС. Затем вновь стал 1-м секретарём Пензенского обкома КПСС и занимал этот пост вплоть до 1979 года.
Один из самых известных государственных деятелей в истории Пензенской области. Руководил регионом около 20 лет.
К числу его сильных сторон относили как прочные связи в ЦК КПСС (М. А. Суслов, Ф. Д. Кулаков и др.), так и создание эффективной управленческой команды в самом регионе (В. К. Дорошенко, Г. В. Мясников, Ф. М. Куликов, Е. В. Ванин, А. Н. Власов, Ю. А. Виноградов, А. М. Варламов, Ю. А. Акимов, А. Е. Щербаков и др.), которую называли «уникальным созвездием кадров».
Его главным достижением как 1-го секретаря обкома считается относительно быстрый рывок в развитии Пензенской области (в основном — в сфере сельского хозяйства). Провинциальный регион, считавшийся отстающим и депрессивным, под его руководством за довольно короткий срок превратился в высокоразвитый, а по сельскохозяйственным показателям вышел на передовые позиции в РСФСР. Это предопределило его карьерный взлёт — переход в правительство РСФСР.
В 1979—1989 — Первый заместитель Председателя Совета министров РСФСР, одновременно, в 1985—1989 — Председатель Государственного агропромышленного комитета РСФСР.
Член ЦК КПСС в 1971—1989 гг. (кандидат в члены с 1961 г.).
Избирался депутатом Верховного Совета СССР 6-10 созывов (1962—1984), депутатом Пензенского областного Совета народных депутатов, делегатом XXII—XXV съездов КПСС (1961, 1966, 1971, 1976) и XIX Всесоюзной партийной конференции.
При Михаиле Горбачёве в 1989 году отправлен на пенсию, став «жертвой» перестройки, так как являлся представителем «старой гвардии» брежневской эпохи. Кроме того, считается что Горбачёв с ревностью относился к нему еще с 1970-х, когда Ермин руководил Пензенской областью, а будущий генсек — Ставропольским краем.
В 1996—1998 — заместитель главы администрации Пензенской области — руководитель представительства администрации Пензенской области при Правительстве РФ.
В 2002—2004 — председатель Пензенского землячества в Москве. Его заместителем был известный политик и предприниматель Виктор Видьманов.
9 ноября 2004 года около 9:00 утра выбросился из окна лестничной прощадки 8-го этажа своей московской квартиры в Денежном переулке, страдая от приступа головной боли.
Незадолго до этого проходил курс лечения в Центральной клинической больнице (ЦКБ) у психиатра по поводу суицидальных наклонностей. У него периодически очень сильно болела голова. Страдая от приступов головной боли, он твердил, что покончит с собой, если боль не прекратится.
12 ноября 2004 года похоронен на Троекуровском кладбище в Москве.
В июне 2005 года в была г. Пензе установлена мемориальная доска на доме, в котором с 1974 по 1979 гг. жил Лев Ермин (улица Красная, д. 65).
Награждён 16 медалями. В том числе: