Гарри начал карьеру в «Виндзор Парк Свифтс», резервной команде клуба «Линфилд», после чего подписал контракт с местным клубом «Колрейн». В возрасте 18 лет он перебрался по другую сторону Ирландского моря в английский клуб «Донкастер Роверс», в котором выступал на протяжении 5 лет. В декабре 1957 года Грегг перешёл в «Манчестер Юнайтед» за рекордную по тем временам сумму, став самым дорогим голкипером в мире.
Грегг был признан лучшим вратарём на чемпионате мира 1958 года. В те времена состав символической сборной мира по итогам чемпионата определялся журналистами, и Грегг набрал 478 голосов, с большим запасом обойдя ближайшего преследователя, вратаря сборной СССР Льва Яшина, который набрал лишь 122 голоса.
За свою карьеру в «Юнайтед» Грегг провёл 48 «сухих матчей». Он получил прозвище «Герой Мюнхена», так как после крушения самолёта в мюнхенской авиакатастрофе он вытащил нескольких одноклубников из горящих обломков самолёта, включая Бобби Чарльтона, Джеки Бланчфлауэра и Денниса Вайоллета. Он также помог выбраться Вере Лукич, беременной жене югославского дипломата, и её дочери, Весне, а также вытащил из-под обломков получившего тяжёлые травмы главного тренера «Юнайтед» Мэтта Басби.
Гарри Грегг признаётся многими одним из лучших вратарей в истории «Манчестер Юнайтед». Несмотря на то, что он играл в одном из самых успешных составов «Юнайтед» в истории, он не завоевал ни одного крупного трофея. Из-за серьёзной травмы плеча он не смог принять участия в победном финале Кубка Англии 1963 года, а последовавшие за этим травмы лишили его достаточного количества матчей, чтобы получить чемпионскую медаль в сезонах 1964/65 и 1966/67. Летом 1967 года он перешёл в «Сток Сити». После завершения карьеры он стал главным тренером «Шрусбери Таун».
В ноябре 1972 года он стал главным тренером «Суонси Сити», а в феврале 1975 принял на себя руководство клубом «Кру Александра», в котором работал до 1978 года. После этого он по приглашению Дейва Секстона вернулся в «Манчестер Юнайтед», где работал тренером вратарей. После отставки Секстона с поста главного тренера «Юнайтед» Грегг покинул свой бывший клуб. Его следующей командой стал «Суиндон Таун», в котором он работал ассистентом главного тренера Лу Макари, и помог клубу выиграть Четвёртый дивизион в 1986 году. В сезоне 1986/87 он был главным тренером «Карлайл Юнайтед», но ему не удалось удержать клуб от второго подряд вылета в нижний дивизион.
После этого он какое-то время владел гостиницей «Windsor Hotel» в Портстюарте, городе на побережье Северного Антрима в Северной Ирландии.
В 1995 году Гарри Грегг получил Орден Британской Империи (MBE) и принял участие в ряде телевизионных передач об истории «Манчестер Юнайтед» и мюнхенской авиакатастрофы, включая «Munich: End of a Dream» — документальный фильм, показанный по телевидению в 1998 году в 40-летнюю годовщину мюнхенской трагедии. В 50-летнюю годовщину трагедии в Мюнхене Грегг принял участие в съемках документального фильма «One Life: Munich Air Disaster», в котором он вернулся на место авиакатастрофы впервые за 50 лет, а также встретил сына Веры Лукич, которым она была беременна во время крушения самолёта. Он выразил сожаление, что так никогда и не смог встретить мужа Веры Лукич, который скончался в 2007 году. 1 июля 2008 года Грегг стал почётным членом Университета Ольстера и получил звание доктора в дань признания его заслуг в футболе на летней выпускной церемонии Университета.