Выступил с публицистическими статьями о воспитании и перевёл на иврит естественную историю профессора Ленца. Вскоре он пришёл к убеждению, что к народу следует обращаться на народном языке, и стал писать почти исключительно на идиш.
Огромный успех имела его повесть «Кляча» (1873), где, под видом несчастной, больной, всеми гонимой клячи изображена жизнь русского еврейства, угнетаемого правительственными мерами. В рассказе «Фишка Хромой» дана картина общественного строя нищих: еврейство, иногда живущее со дня на день, не знающее утром, где оно проведет ночь, не имеющее никаких определенных занятий, охарактеризовано как старая большая торба, иногда порожняя, иногда наполняющаяся то одним мусором, то другим. Самый знаменитый его роман — «Путешествие Беньямина Третьего» (1878), лирико-сатирическая фантасмагория по мотивам средневекового еврейского труда «Путешествие Биньямина из Туделы», напоминающая «Дон Кихота» Сервантеса.
Под влиянием погромов 1880-х годов Менделе, снова вернувшись к древнееврейскому языку, написал несколько повестей и рассказов, в которых, помимо представителей старого еврейства, фигурируют и люди нового поколения, стремящиеся в Палестину — подальше от погромов. Повесть «Стена плача» рассказывает о быте сутенеров и еврейских борделей XIX века. В повести точно описывается механизм торговли «живым товаром».
В одесском литературном обществе Мойхер-Сфорим был одной из самых колоритных фигур. Когда ему было около 60 лет и он заведовал Талмуд-Торой, проживая в помещении школы, в Одессу приехал историк С. М. Дубнов. После встречи между ними завязалась дружба, длившаяся почти 30 лет.
Написал много стихотворений, драм и критических статей на древнееврейском языке, переводил на идиш стихами богослужебные книги. Переведённый на русский язык нравоописательный роман «Отцы и дети» (СПб., 1868) не удался автору.
На русском языке произведения Менделе до революции напечатаны в «Восходе», в «Жизни» и отдельными изданиями; некоторые ещё при его жизни были переведены также на польский язык. После революции его сочинения много издавались в СССР как на идиш, так и в русских переводах, а также получили известность и на Западе.
В 1862 году редактор солидного ивритского альманаха «Ха-Мелиц» Александр Цедербаум решается выпустить «для простонародья» приложение на идиш «Койль а-Мевасер» («Глас провозглашающий» — ивр.). Скоро приложение разрослось и стало популярней основного издания. В 1863 году Абрамович решается дать Цедербауму первую рукопись на идиш «Дос клейне менчеле» («Маленький человечек», ещё переводили как «Паразит»). Повесть была опубликована в 1864 году, и эта дата считается началом современной еврейской литературы. Затем вышли повести «Ди таксэ» (кошерный мясной налог) в 1869 и «Ди клячэ» (Кляча) в 1873 году.
Поначалу Абрамович выбрал себе псевдоним Сендерле-книгоноша — мойхер-сфорим по-еврейски. Тогда за свою репутацию испугался Цедербаум. Ведь могли подумать, что сам редактор стоит за псевдонимом. Ведь Сендерле — уменьшительно-ласкательное народное имя от его имени Александр. В последнюю минуту решено было назвать автора (он и персонаж, от имени которого ведется рассказ) Менделе Мойхер-Сфорим. Впрочем, выбор псевдонима тоже определил успех. Роль книгонош в еврейской жизни XIX века хорошо описана в статье Александра Львова «Становление русско-еврейской интеллигенции: роль Библии в подготовке языкового сдвига», опубликованной на сайте автора. Без книгоноши в еврейской жизни нельзя было обойтись — он поставлял священные книги, молитвенники, лубочные народные книги, первые сочинения на идиш для женщин и простого народа. Тайком книгоноша удовлетворял и спрос на запретную нееврейскую светскую литературу, проклинаемую раввинами. Персонаж Менделе «пошёл в народ». Он путешествовал в своей кибитке по грунтовым дорогам между Глипском и Бердичевом, встречал разных людей и рассказывал свои истории, критиковал несправедливость, делился своими соображениями о переустройстве мира и особенно — еврейской жизни в Российской империи.
Повести, а затем и роман «Фишка Хромой» стали сенсацией. Писатель резко обрушился на еврейское руководство кагал, обвиняя его в плачевном положении евреев в Российской империи. Писатель яростно атаковал разъедающую коррупцию и некомпетентность руководства еврейских общин и многочисленных благотворительных организаций, критиковал царящие там нравы, казнокрадство, блатместерство и несостоятельность — все, что, к сожалению, снова вернулось кое-где вместе с «возрождением еврейской жизни». Писатель предлагает свои решения, частью утопические, частью осуществленные позже. Менделе призывал богатых не жертвовать деньги, а способствовать профессиональному образованию, готовить хороших специалистов, творческих людей и полезных граждан. Со временем писатель понял, что его сатира слишком прямолинейна, слишком литературна, что она часто бывает устаревшей и бьёт мимо цели. Тогда в еврейскую литературу пришли молодые таланты — прежде всего Шолом-Алейхем и И.-Л. Перец. В их творчестве социальная сатира играла второстепенную роль. И Менделе Мойхер-Сфорим начал переделывать свои старые произведения, добавлять в них теплоту и доброту, сдабривать народными шутками. Он понял, что широкий читатель хочет не религиозно-общественной сатиры, не бичевания коррупции и недостатков, а историй, которые помогают понять, как можно выжить в суровом мире среди всех этих бед. «Фишка Хромой» выходил тремя переделанными изданиями — в 1869, в 1876 и последним — в 1888 году. И с каждым разом в романе смягчается сатира и полемика, зато все больше теплоты и симпатии к бедам своих героев, все больше интереса к народному юмору.
Хочется привести слова писателя, которые раньше знал любой еврейский школьник, как любой русский школьник знал гоголевский отрывок о птице-тройке.
Мойхер Сфорим никогда не теоретизировал по поводу литературы. Известна лишь его фраза «Фени (воровского арго) у нас не должно быть». Вместе с тем, от издания к изданию из прозы «дедушки еврейской литературы» исчезали славизмы.
Имел сына, Абрамовича, Михаила Соломоновича поэта, который родился в 1859 г. и был помощником присяжного поверенного. Обратил на себя внимание стихотворениями на библейские сюжеты и гражданские темы. Его «Стихотворения» изданы в 1889 г.
Его сын, внук Менделе Мойхер-Сфорима, Всеволод Михайлович Абрамович (1890–1913), русский авиатор, первым совершивший дальний перелет с пассажирами (Берлин—Петербург, 1912), погиб в авиационной катастрофе.
Другой внук Менделе Мойхер-Сфорима, Александр Владимирович Абрамович (1900—88), советский музыковед, был заместителем директора Одесской (1933–41) и Кишинёвской (1954—57) консерваторий, до конца жизни профессором последней. Внучка, Елена Александровна Абрамович доцент кафедры теории музыки Института искусств в Кишинёве.