Ма Чжаньшань родился в Гунчжулине (сейчас — городской уезд на территории городского округа Сыпин) провинции Гирин в бедной крестьянской семье. В 20 лет он стал работать охранником в уезде Хуайдэ. За его меткость и другие качества У Цзюньшэн, командовавшей охраной железной дороги и Мукденским охранным батальоном, в 1908 году дал ему пост в своих частях.
В 1913 году Ма стал майором и командиром 3-й роты 3-го полка 2-й бригады Центральной кавалерийской армии в армии Китайской республики. В 1920 году он стал полковником и воевал на стороне своего хозяина — милитариста У Цзюньшэна. Потом он стал служить в Северо-восточной армии Чжан Цзолиня — сначала как командир 5-й кавалерийской бригады 17-й кавалерийской дивизии, затем как командир 3-й пехотной бригады Армии провинции Хэйлунцзян. После гибели Чжан Цзолиня в 1928 году Ма получил должности Командующего усмирением бандитов в провинции Хэйлунцзян и Главнокомандующего кавалерией провинции Хэйлунцзян.
Когда после Маньчжурского инцидента японская Квантунская армия вторглась в Маньчжурию, губернатор Вань Фулинь провинции Хэйлунцзян находился в Пекине, и в провинции не было никого, кто бы мог возглавить противодействие японцам. Чжан Сюэлян запросил инструкций у правительства в Нанкине и 10 октября 1931 года назначил Ма Чжаньшаня губернатором Хэйлунцзяна и главнокомандующим вооружёнными силами провинции. 19 октября 1931 года Ма прибыл в столицу провинции город Цицикар и на следующий день приступил к своим обязанностям. Он собрал военных на совещание и лично проинспектировал оборонительные позиции. Столкнувшись с голосами, ратовавшими за капитуляцию, он заявил: «Меня поставили руководить провинцией, и я обязан её защищать».
Японцы потребовали, чтобы был починен ранее взорванный мост через реку Нэньцзян, но Ма Чжаньшань отказался это сделать. Тогда японцы послали собственную ремонтную бригаду под охраной 800 солдат. Поблизости от моста находилось 2.500 китайских солдат, и произошёл бой у моста через Нэньцзян, положившей начало Хэйлунцзянской кампании. Несмотря на то, что ему пришлось отвести войска под напором вооружённых танками и артиллерией японцев, Ма стал национальным героем из-за своего освещённого в китайской и международной прессе сопротивления японским интервентам. Его примеру последовали Тин Чао и другие командиры, а в войска пошёл поток добровольцев. 18 ноября Ма Чжаньшань эвакуировал Цицикар. После того, как войска генерала Тин Чао были выбиты из Харбина, войска Ма Чжаньшаня, понеся серьёзные потери, были вытеснены через советскую границу.
Учитывая большую популярность Ма, полковник Доихара Кэндзи предложил ему большую сумму денег за присоединение к Маньчжурской императорской армии. Ма согласился, и предложил совершить поездку по стране, чтобы убедить местных жителей поддержать новое правительство. В январе 1932 года он прилетел в Шэньян, где присутствовал на митинге, посвящённом образованию Маньчжоу-го; будучи больным, он не стал подписывать Декларацию независимости Маньчжоу-го. В марте он присутствовал на церемонии провозглашения Пуи императором Маньчжоу-го, и был назначен на должности министра обороны Маньчжоу-го и губернатора провинции Хэйлунцзян. Однако японцы не доверяли ему полностью (как и прочим должностным лицам Маньчжоу-го), и прежде, чем предпринимать любые шаги, он был обязан запрашивать одобрения у приставленного к нему японского советника.
Так как новый статус губернатора Хэйлунцзяна внутри Маньчжоу-го не давал Ма Чжаньшаню ничего, что он имел будучи независимым милитаристом, он решил восстать, используя японские деньги для создания и экипировки новых собственных войск. Он секретно вывез оружие из арсеналов и эвакуировал членов семей своих солдат. 1 апреля 1932 года под предлогом проведения инспекции он вывел войска из Цицикара. 7 апреля в Хэйхэ Ма Чжаньшань провозгласил независимость Хэйлунцзяна от Маньчжоу-го. В начале мая Ма реорганизовал свои войска в 9 бригад, и создал ещё 11 соединений в Буси, Ганьнане, Кэшани, Кэдуне и других городах вокруг Цицикара. Эти войска были названы «Северо-Восточной антияпонской армией национального спасения», а Ма Чжаньшань стал номинальным руководителем всех добровольческих антияпонских военных формирований в регионе, чья численность доходила до 300 тысяч человек.
Руководимые Ма войска устраивали засады вдоль основных путей сообщения, и причинили много неприятностей японским и маньчжурским войскам в ряде стычек. Чтобы уничтожить их, Квантунская армия задействовала крупные японско-маньчжурские силы в ходе «Операции по подавлению Ма Чжаньшаня». Понеся серьёзные потери, войска Ма тем не менее смогли спастись благодаря небрежности маньчжурских войск. В сентябре Ма наладил контакты с «Армией национального освобождения Хэйлунцзяна» Су Бинвэня. В декабре в ходе «Операции по подавлению Су Бинвэня» 30.000 японско-маньчжурских войск вынудили Ма Чжаньшаня и Су Бинвэня перейти советскую границу. Остальные войска были оттеснены в провинцию Жэхэ.
Ма Чжаньшань долгое время оставался за границей, будучи в СССР, Германии и Италии. Он вернулся в Китай только в июне 1933 года. Придя к Чан Кайши, он попросил войска, чтобы воевать против японцев, но его помощь была отвергнута. Ма поселился в Тяньцзине, где жил до октября 1936 года, когда Чан Кайши неожиданно отправил его в сражения гражданской войны. Во время Сианьского инцидента Ма Чжаньшань посоветовал Чжан Сюэляну не убивать Чан Кайши в момент, когда Родина стоит перед угрозой иностранного вторжения. Чжан Сюэлян назначил Ма Чжаньшаня на должность командира кавалерийской группы для борьбы с японцами, но это назначение было отменено, когда Чан Кайши арестовал Чжан Сюэляна.
После инцидента на Лугоуцяо Ма Чжаньшань был назначен командующим войсками, предназначенными для действий в провинциях Ляонин, Цзилинь, Хэйлунцзян и Жэхэ. В августе 1937 года, разместив штаб-квартиру в Датуне, Ма Чжаньшань повёл свои войска воевать с японцами в провинциях Чахар, Суйюань и Шаньси, где взаимодействовал с войсками Фу Цзои.
Ма Чжаньшань питал отвращение к соглашательской политике гоминьдана, и более склонялся к политике сопротивления японской агрессии, проповедуемой коммунистической партией Китая. В 1939 году он посетил Яньань, где в это время находились руководители КПК. В августе 1940 года коммунистическая партия Китая дала Ма Чжаньшаню пост губернатора провинции Хэйлунцзян; он держал эту информацию в секрете до конца войны.
После капитуляции Японии гоминьдановское правительство назначило Ма Чжаньшаня заместителем ответственного за поддержание порядка на Северо-Востоке. Он прибыл на службу в Шэньян, но через полгода под предлогом болезни вернулся домой в Пекин. В январе 1949 года он перешёл на сторону КПК и уговорил Фу Цзои передать Пекин коммунистам без боя. После основания КНР Мао Цзэдун пригласил Ма Чжаньшаня в июне 1950 года стать членом НПКСК, но тот не смог этого сделать из-за болезни. В ноябре 1950 года Ма Чжаньшань скончался.