Марк Габинский родился в 1932 году в Одессе в образованной еврейской семье. Ещё в детстве самостоятельно изучил испанский, итальянский и португальский языки. После окончания отделения романской филологии филологического факультета Ленинградского университета в 1953 году был направлен на работу в Институт истории, языка и литературы Молдавского филиала Академии наук СССР. Молдавский (румынский) язык он также изучил самостоятельно ещё в студенческие годы. Всего М. Габинский овладел более чем десятью языками, включая албанский, сефардский, иврит, новогреческий, македонский и аромунский.
С 1956 года участвовал в составлении нового русско-молдавского словаря (издан в 1961 году). В 1967 году защитил кандидатскую диссертацию по теме «Возникновение инфинитива как вторичный балканский языковый процесс (На материале албанского языка)». В том же году одноимённая монография была опубликована в Ленинградском отделении издательства «Наука». В 1972 году защитил докторскую диссертацию «Появление и утрата первичного албанского инфинитива (К проблеме инфинитивности в балканских языках)», по материалам собственной одноимённой монографии, изданной в ленинградском филиале издательства «Наука» в 1970 году.
Автор приблизительно 250 научных работ по различным проблемам балканских и романских языков, а также общего языкознания. Уже в 1967 году, первым из советских лингвистов опубликовал статью о сефардском (еврейско-испанском) языке («Зачатки утраты инфинитива в сефардских говорах Македонии». Македонски јазик. Год XVIII. Скопје, 1967). В 1992 году вышла книга М. Габинского «Сефардский (еврейско-испанский) язык. Балканское наречие», первая на русском языке монография, посвящённая джудезмо.
В 1988 году стал активистом движения за перевод молдавского языка на латинскую графику. В 2007 году к семидесятипятилетию учёного в Кишинёве был опубликован его новый, монументальный «Словарь корневых этимологических дублетов румынского языка» (Dic?ionar de rizodublete etimologice ale limbii rom?ne).
Член редколлегии журналов «Revist? de lingvistic? ?i ?tiin?? literar?» и «Buletinul Institutului de Lingvistic?» (на румынском языке).