Магжан Жумабаев родился и вырос в зажиточной многодетной казахской семье.. В семье Бекена и Гульсум было 7 мальчиков и 2 девочки: Мусилим, Кахарман, Магжан, Мухаметжан, Салтай, Галижан, Сабыржан, Гуляндан, Гульбарам.
1905—1910 гг. — учёба в медресе Петропавловска, где преподавали арабский, фарси, турецкий языки.
1910—1911 гг. — учёба в медресе «Галия» в Уфе, среди наставников — классик татарской литературы Галимжан Ибрагимов.
В 1912 г. в Казани выходит его первый поэтический сборник «Шолпан» арабским шрифтом на казахском языке. Он получает известность среди казахской интеллигенции.
1913—1916 гг. — учёба в Омской учительской семинарии, где учится с Сакеном Сейфуллиным, заканчивает семинарию с золотой медалью.
Большое участие в его судьбе приняли академик Григорий Николаевич Потанин, крупнейший поэт и ученый Мыржакип Дулатов и директор семинарии Александр Никитич Сидельников. Г. Н. Потанин после первых встреч с Магжаном предсказал, что юноша в будущем станет вторым Чоканом Валихановым. Предсказание великого ученого сбылось. Магжан Жумабаев впоследствии стал крупнейшим тюркологом, историком, лингвистом, педагогом в духе русской классической школы, автором учебников по казахскому языку и литературе, книги «Педагогика».
В 1917 году на Втором всекиргизском съезде в Оренбурге избран с Ахметом Байтурсыновым в комиссию по составлению школьных учебников.
В начале 1918 г. поэт был арестован представителями партии «Уш жуз» и около 7 месяцев просидел в тюрьме Омска. Здесь им написаны полные грусти и страдания стихотворения: «Жан-жарым-ды бір суйеін тусімде» («Поцелую любимую во сне»), посвященную молодой жене (Магжан перед окончанием семинарии женился на внучатой племяннице Чокана Валиханова красавице Зейнеп, которая умерла при родах).
В 1918 году открывает в Омске и Петропавловске курсы казахских учителей и становится их директором.
В 1922 году приглашен председателем Совнаркома Туркестанского края Тураром Рыскуловым преподавать в Казахско-кыргызском институте просвещения в Ташкенте. Активно сотрудничает в газетах и журналах («Акжол», «Сана», «Шолпан» и др.), публикует множество стихов и поэм, а также ряд исследовательских литературных работ. Выпускает второй сборник стихов и поэм в Ташкенте и издаёт в Оренбурге фундаментальный научный труд «Педагогика».
В 1923 году по приглашению наркома просвещения РСФСР Анатолия Луначарского преподает восточные языки в Коммунистическом университете трудящихся Востока.
Одновременно в 1923-26 годах учится в Московском литературно-художественном институте, возглавляемом В.Брюсовым. В Москве переводит на казахский произведения Лермонтова, Кольцова, Бальмонта, Мережковского, Вс. Иванова, Мамина-Сибиряка, Горького, Блока, а также стихи и поэмы Гете, Гейне и др. зарубежных поэтов. «Его называли казахским Пушкиным, сравнивали с Байроном и Шекспиром, говорили, что внешне он чем-то, даже, похож на Сергея Есенина — то ли волнами вьющихся волос, только не русых, а черных, как смоль, то ли открытой, как североказахстанская степь, и распахнутой навстречу самой жизни искренностью в глазах, только не синих и озорных, а темных, как степная ночь, и кажется, чуть подернутых дымкой печали, что по утрам таяла над войлоком юрт его родного аула, то ли по-есенински пронзительными до слез, полными глубочайшего лиризма стихами, музыка которых понятна душе» (В.Шестериков).
В 1927 году, завершив учёбу, возвращается в Казахстан, работает учителем.
Летом и зимой 1917 года в Оренбурге принимает участие в создании партии «Алаш» и правительства «Алаш-Орда» на обоих Общеказахских съездах, как делегат от Акмолинской области.
В 1923 году поэт Магжан Жумабаев был направлен из Туркестанской Республики в Москву в Высший литературно-художественный институт В.Брюсова, где познакомился с деятельностью писательских объединений и, в частности, Союза поэтов. И им было задумано создание литературного объединения казахских писателей, которое он назвал «Алка?» («Коллегия») и написал программу организации. Она была направлена по почте для ознакомления литераторам, живущим в разных городах, и находила сторонников. Программа «Алка?» одобрялась в переписках, но не была принята, поскольку не было и собрания. «Алка?» организационно осталась неоформленной. Данное намерение создать литературное объединение было признано большевистскими властями признаком национализма, попыткой алашордынцев реанимироваться и вредить советскому строю. Вместе с тем, идея М. Жумабаева объединить поэтов и писателей Казахстана впоследствии выразилась в создании Союза писателей Казахстана.
Жумабаева, как алашординца, пантюркиста и японского шпиона, арестовали в Петропавловске, а затем осудили на 10 лет лишения свободы. До суда он сидел в Москве, в Бутырке, а срок отбывал в Карелии и Архангельской области, в частности, в печально знаменитом СЛОН. В 1934 году он пишет письмо М.Горькому и Е.Пешковой. В 1936 благодаря их ходатайству Жумабаев был досрочно освобожден из Свирского лагеря политзаключенных. Но через полтора года, 30 декабря 1937 года был снова арестован в Алма-Ате и расстрелян НКВД 19 марта 1938 года.
Более 20 лет его вторая жена Зулейха хранила на чердаке архив поэта, веря в возрождение Магжана. Наконец 8 июля 1960 года решением военного трибунала ТуркВО Магжан Жумабаев был посмертно реабилитирован. Его стихи вернулись к народу.