Гиллеспи начал свою карьеру в местном клубе «Фалкирке», уже в 17 лет он был капитаном команды, что сделало его самым молодым игроком в истории, когда-либо становившимся капитаном футбольного клуба. Он быстро прогрессировал как игрок, и, проведя лишь 22 матча во Втором Дивизионе Шотландской Лиги, 10 марта 1978 года в возрасте неполных 18 лет был за 75 тысяч фунтов выкуплен «Ковентри Сити».
Остаток сезона 1977—1978 годов он провёл, выступая за резервы своей новой команды, но уже в начале следующего сезона получил шанс сыграть за основу. 19 августа 1978 года состоялся дебют Гари в первой команде «Ковентри Сити» — со счётом 2:1 был обыгран «Мидлсбро». До следующего лета он успел ещё 14 раз выйти в первом составе.
Многие отмечали талант и мастерство Гиллеспи, который в течение шести сезонов вместе с «Ковентри Сити» успешно боролся за выживание в Первом Дивизионе. В конце концов, Гари получил возможность попробовать свои силы на самом высшем уровне — 8 июля 1983 за 325 тысяч фунтов он перешёл в «Ливерпуль», став первым приобретением Джо Фэгана.
Гиллеспи пришлось потратить некоторое время на то, чтобы освоиться в новой команде и начать борьбу за место в составе, тем более, что его прямыми конкурентами на позиции центрального защитника были Марк Лоуренсон и Алан Хансен. Дебютным матчем для него стал поединок против «Уолсолла» на Энфилде, состоявшийся в рамках розыгрыша Кубка Лиги и завершившийся вничью 2:2. В 1985 году он стал постоянным игроком основы, на то же время приходится и первый забитый Гари мяч — он забил его 30 апреля в домашнем матче Первого дивизиона против «Ньюкасла», который «Ливерпуль» выиграл со счётом 3:1. Вместе с клубом Гиллеспи выиграл чемпионат и Кубок Англии в 1986 году, хотя участия в финальном матче он не принял — в то время разрешалось делать только одну замену, и ей оказался не Гари. В том сезоне он отметился тремя голами, и все они были забиты в одном и том же матче. Защитники редко отмечаются хет-триками, но Гари удалось это сделать. 26 апреля 1986 в матче против «Бирмингем Сити» на Энфилде Гиллеспи забил два мяча с игры, а когда в ворота «Бирмингема» был назначен пенальти, болельщики стали скандировать его имя. Несмотря на то, что штатным пенальтистом «Ливерпуля» был Ян Мёльбю, право реализовать одиннадцатиметровый датчанин предоставил именно Гари. Гиллеспи забил свой третий гол в игре, и матч в итоге закончился со счётом 5:0 в пользу «Ливерпуля».
В следующем году Гиллеспи пропустил только три матча своей команды, составив мощнейший дуэт центральных защитников с капитаном команды Аланом Хансеном. В 1988 «Ливерпуль» вновь выиграл чемпионский титул, проиграв лишь два матча в кампании и финишировав на первом месте в таблице с большим отрывом. Гиллеспи забивал и в этом сезоне, отметившись в частности, в победе с разгромным счётом 5:0, которую «Ливерпуль» одержал над «Ноттингем Форест». Кстати, этот матч многие аналитики считают лучшим выступлением когда-либо продемонстрированным любой английской командой в «домашнем» первенстве.
За неделю до финального матча на Кубок Англии, в котором «Ливерпулю» предстояло попытка оформить второй подряд «дубль» в чемпионате и Кубке, в игре против «Дерби Каунти» Гиллеспи и его партнёр по команде Найджел Спекмэн пошли на один мяч и столкнулись головами, получив серьёзные рассечения. Однако неделю спустя оба футболиста вышли на поле Уэмбли с красно-белыми полосатыми повязками на головах. Гиллеспи был признан одним из лучших игроков «Ливерпуля» в этом матче, и после игры аналитик BBC Джимми Хилл сказал: «Гиллеспи всегда великолепен, вне зависимости от того, с повязкой он играет или нет». К сожалению для Гари, его команда уступила в финале со счётом 0:1.
В 1989 Гиллеспи присоединился к своим партнёрам, участвовавшим в траурных церемониях, посвящённых памяти 96 болельщиков, погибших в результате трагедии на стадионе «Хиллсборо». В этом сезоне «Ливерпуль» выиграл Кубок Англии, в финале одолев извечных соперников из «Эвертона», однако чемпионский титул был упущен в самый последний момент.
Гиллеспи выиграл ещё один чемпионат Англии в 1990 году, хотя к тому времени он всё реже стал появляться в составе, вытесняемый молодым Гари Аблеттом и шведским защитником Гленном Хюсеном. А год спустя, когда Кенни Далглиша на тренерском посту сменил Грэм Сунесс, Гари был продан в «Селтик» за 925 тысяч фунтов. К тому моменту он провёл за «Ливерпуль» 214 матчей и забил 16 голов. Его дебют в клубе из Глазго состоялся 17 августа 1991 года в матче, в котором «Селтик» со счётом 4:1 обыграл первый клуб Гари — «Фалкирк». Сам Гиллеспи в этом матче отметился забитым мячом. За три следующих года защитник провёл 67 матчей за клуб, прежде чем вернуться и завершить свою карьеру в «Ковентри Сити».
Гиллеспи сыграл 13 матчей за сборную Шотландии, получил в первый вызов в сборную 14 октября 1987 года на игру против Бельгии в рамках Отборочного турнира к Чемпионату Европы. Он представлял свою страну на чемпионате мира 1990, который проводился в Италии, однако сыграл на этом турнире всего один матч, который шотландцы проиграли бразильцам со счётом 0:1.