Марк Рэндалл воспитанник клуба «Нортхмптон Таун», но в 2001 году он перешёл в клуб «Арсенал». В сезоне 2005-2006 Рэндалл сыграл 7 матчей за второй состав клуба, а в сезоне 2007-2008 сыграл в 18-ти матчах. За основу команду Рэндалл дебютировал 24 октября 2006 года в кубке Лиги против «Вест Бромвич Альбион», заменив Денилсона, а затем играл 8 ноября в 4-й стадии того же турнира, вновь заменив Денилсона, в игре с «Ливерпулем».
8 ноября 2007 года Рэндалл подписал с «Арсеналом» свой первый профессиональный контракт и поехал с первой командой в ежегодный межсезонный тренировочный лагерь в Австрии. В конце августа того же года Рэндалл получил травму в матче вторых составов с «Фулхэмом», наконец зимой он восстановился и сыграл 18 декабря против «Блэкберн Роверс» на кубок Лиги,а затем там же с «Тоттенхэм Хотспур», выйдя на замену в полуфинале турнира за минуту до конца встречи.
31 января 2008 года, в день закрытия трансферного окна, Рэндалл на правах аренды перешёл в клуб «Бернли», за который сыграл 10 матчей во второй лиге. В мае Рэндалл вернулся в Лондон, а 11 мая 2008 года дебютировал в Премьер Лиге, выйдя на 81-й минуте на замену в матче с «Сандерлендом».
В начале следующего сезона Рэндалл дебютировал в 3-м раунде квалификации Лиги чемпионов, заменив на 84-й минуте Тео Уолкотта в матче с «Твенте», а 23 сентября провёл целый матч на кубок лиги против «Шеффилд Юнайтед», забив 5-й гол команды (матч завершился 6:0). 10 декабря 2008 года Рэндалл вышел в Лиге чемпионов, заменив Александра Сонга, но клуб проиграл «Порту» 0:2.
Далее последовала череда аренд, где Марк должен был набраться опыта, чтобы претендовать на полноценное место в первой команде. Однако он не сумел проявить себя, и, когда летом 2011 года срок его контракта подошёл к концу, «Арсенал» не стал продлевать его.