Паллистер начал футбольную карьеру в любительском клубе «Биллингем Таун», но в возрасте 19 лет перешёл в «Мидлсбро» — клуб, за который он болел в детстве. Гари провёл за «Боро» 5 сезонов, сыграл в 156 матчах и забил 5 голов. 29 августа 1989 года он перешёл в «Манчестер Юнайтед» за 2,3 млн фунтов, побив британский трансферный рекорд. Среди его главных клубных достижений стоит победа в финале Кубка обладателей Кубков над «Барселоной» со счётом 2:1.
Паллистер со Стивом Брюсом сформировали великолепный дуэт в центре обороны (который считается одним из лучших в истории «Юнайтед»). В сезоне 1992/93 Паллистер забил памятный гол в финальном матче сезона против «Блэкберн Роверс» на «Олд Траффорд». Уже в добавленное время, когда «Юнайтед» вёл со счётом 2:1, Гари забил со штрафного в нижний угол ворот соперника. Это был его первый и единственный гол в этом сезоне.
Последним сезоном Паллистера в «Манчестер Юнайтед» стал сезон 1997/98, в котором «Юнайтед» финишировал на втором месте, уступив «Арсеналу» только 1 очко.
Всего за свою карьеру в «Манчестер Юнайтед» Паллистер выиграл три Кубка Англии, четыре чемпионских титула Английской Премьер-Лиги, один Кубок Лиги и Кубок обладателей Кубков.
В июле 1998 года Паллистер вернулся в «Мидлсбро» (в качестве замены ему «Юнайтед» приобрёл Япа Стама), за который провёл ещё 55 игр в чемпионате, 2 игры в Кубка Англии и четыре в Кубке Лиги.
Последним сезоном в карьере Паллистера стал сезон 2000/01, который «Мидлсбро» завершил на 14-м месте.
По завершении карьеры Паллистер стал футбольным экспертом на телевидении.
Манчестер Юнайтед