Родился в белорусском местечке Мозыле (по другим данным Мотыле) в семье купца.
В основном известен как своеобразный баснописец, благодаря переводам на идиш ряда известных басен (в основном Крылова). Справедливости ради, необходимо отметить, что это был не подстрочный перевод, а их художественная переработка басен. Так его первым литературным опытом была опубликованная в газете «Дэр Фрайнд» в 1903 году сатира, написанная по мотивам басни Крылова «Мор зверей». Во многих баснях Мордхеле ощущается влияние национального фольклора, все они наполнены языковыми нюансами и игрой слов.
Эти басни выдержаны в жанре политической сатиры, в основном в них высмеиваются тогдашние нравы.
Также Мордхеле считается одним из основоположников еврейской филологии и диалектологии. На этом поприще наиболее известна его многолетняя фундаментальная работа по еврейской грамматике, выдержки из которой впервые были напечатаны в сборнике «Пинкос» (Вильна, 1913).
В последние годы жизни Мордхеле написал несколько произведений на древнееврейском языке (в том числе оперу по мотивам библейской «Песни песней» и изданную только после смерти автора автобиографию «Мой городишко Мозыль», которую считют одним из лучшх примеров еврейской мемуаристики
C 1900 по 1906 Мордхеле принимал участие в сионистском движении играл некоторую роль среди сионистов, а потом среди территориалистов. Мордхеле можно причислить к социалистам, однако его считали «бледнорозовым».