Окончил лицей в Бресте и там же поступил в морскую школу, где и начал самоучкой изучать композицию. В 1899 г. приступил к занятиям в Парижской консерватории и одновременно на философском факультете Сорбонны, где, в частности, слушал лекции Анри Бергсона. Затем в течение полутора лет работал домашним учителем в Москве, где на него оказала значительное влияние русская музыкальная культура (в частности, музыка Н. А. Римского-Корсакова). По возвращении во Францию поступил в парижскую Schola Cantorum, где его учителями были Альбер Руссель и Венсан д’Энди.
В первые 15 лет XX столетия Ле Флем создал ряд заметных сочинений, основательно замешанных на музыкальном колорите его родной Бретани. Затем композиторское творчество Ле Флема почти прекратилось: он руководил различными музыкальными коллективами, в том числе военным оркестром Русского экспедиционного корпуса во Франции (1916—1917), в 1921—1937 гг. был музыкальным обозревателем ежедневной газеты Com?dia, в 1923—1939 гг. преподавал в Schola Cantorum (среди его учеников, в частности, Андре Жоливе). В 1938 г. творческая активность Ле Флема возобновилась, и он продолжал сочинять до глубокой старости (последнее произведение Ле Флема датировано 1976 годом).