Мойше Альтман родился в бессарабском местечке Липканы (сейчас в Бричанском районе Молдовы) на левом берегу Прута в 1890 году. Липканы дали современной еврейской литературе целое созвездие имён, отчего еврейский поэт Хаим-Нахман Бялик прозвал их «бессарабским олимпом». Мойше Альтман учился в хедере и до 1908 года в частной каменец-подольской гимназии вместе с другим знаменитым в будущем поэтом и театралом Янкев Штернбергом.
С 1918 года жил в Бухаресте, где дебютировал стихами и литературной критикой в 1920 году. Позже почти целиком перешёл на прозу, печатаясь в различных периодических изданиях Румынии, Польши и США. Первый сборник новелл «Блэндэниш» (Мираж) вышел в Черновцах в 1926 году, за ним последовали сборник рассказов «Ди Винэр Каретэ» (Венская карета, 1935), романы «Медрэш-Пинхэс» (Сказание Пинхоса, 1936) и «Шмэтэрлинген» (Мотыльки, 1939). Альтман приобрёл широкую известность как блестящий стилист.
В 1930 году эмигрирует в Аргентину, где служит директором еврейского детдома в Буэнос-Айресе, но уже через год возвращается в Бухарест и работает редактором литературного еженедельника «Ди Вох» (Неделя). В 1939 году Альтман вместе с уже именитым режиссёром Янкев Штернбергом переправляются через Днестр, по которому тогда проходила граница с СССР. Вскоре Бессарабия и Буковина переходят к Советскому Союзу и Альтман вновь возвращается в Бессарабию, ставшую к тому времени советской Молдавией. Становится членом Союза Писателей СССР.
В годы войны в эвакуации в Средней Азии. После войны селится в Черновцах, где работает литературным редактором переместившегося туда после эвакуации Киевского Еврейского Театра (Киевский ГОСЕТ под руководством Мойше Гольдблата). Печатает рассказы и пьесу «Дос Центэ Гебот» (Десятая заповедь, 1948) в московской еврейской периодике. В начале 1949 года в Москве выходит книга его рассказов военных лет, а 15 апреля его арестовывают в связи с т. н. делом № 5390 о троцкистско-националистической группе бессарабских литераторов. Из Черновцов его этапируют через Киев в Кишинёв, где к тому времени уже арестованы остальные обвиняемые из числа местных литераторов — Янкл Якир, Мотл Сакциер и Герцл Гайсинер-Ривкин. В конце сентября того же года каждого из обвиняемых осуждают на 10 лет исправительно-трудовых лагерей строгого режима и в ноябре отправляют в Куйбышев, где группу разделяют и шестидесятилетнего Альтмана с Сакциером пересылают на БАМ.
После освобождения и реабилитации в 1955 году возвращается к дочери в Черновцы, где живёт до конца жизни. В том же году в Нью-Йорке под редакцией Шлоймэ Бикла выходит книга избранной прозы Альтмана. В 1959 году в Москве выходит сборник его рассказов военных лет в переводе на русский язык и в том же году целиком посвящённый его произведениям номер журнала «Идише Шрифтн» (Еврейские ведомости) в Варшаве. С 1961 года в Советском Союзе возобновляется публикация произведений советских еврейских писателей на идише и Альтман начинает сотрудничать с журналом «Советиш Геймланд» (Советская Родина). В последующие два десятилетия в этом журнале появляются пьеса «Мониш», стихи, эссе, рассказы, очерки, переводы русской и мировой литературы (А. Н. Островский, Леонид Леонов, Мольер и др.). В 1980 году в московском издательстве «Советский писатель» выходят сразу два тома избранной прозы писателя; журнал «Советиш Геймланд» посмертно публикует его пьесу «Ифтох-Шпил» (Пьеса Ифтаха) в 1988 году.
Мойше Альтман остаётся одним из самых тонких стилистов современной идишской прозы, чьё имя прочно связано с периодом её наивысшего расцвета.