Родился в Кронштадте в семье рабочего. Отец — Григорий Петрович Карпов (? — 1918), известный краснодеревщик, резчик по дереву, участвовавший в оформлении таких памятников архитектуры, как Морской Никольский собор (Кронштадт).
Окончил духовную семинарию, учился в Петроградском университете, работал машинистом на механическом заводе.
В 1918—1922 годы служил в РККФ на транспорте «Борго» (Балтийский флот). В 1920-е учился в Петроградском университете, но не закончил его.
Член партии с 1920 года. В органах ВЧК с 1922 года. В 1922—1928 годы служил в Особом отделе, а в 1928—1936 годы — в Контрразведывательном отделе и Секретно-политическом отделе ПП ОГПУ по Ленинградскому военному округу — УГБ УНКВД по Ленинградской области. Заместитель начальника УНКВД по Карельской АССР (1936). В 1936—1937 гг. — заместитель начальника, с июля 1937 г. — начальник Секретно-политического отдела (затем — 4-го отдела) УГБ УНКВД по Ленинградской области, уполномоченный 2-го отдела ГУГБ НКВД СССР Начальник Псковского райотдела НКВД Ленинградской области (1938—1939).
По воспоминаниям арестованного в 1937 г. в Ленинграде А. К. Тамми, «Карпов сначала молотил табуреткой, а затем душил кожаным ремнем, медленно его закручивая…». Карпов участвовал в допросах расстрелянного в феврале 1938 года по сфабрикованному обвинению физика-теоретика М. П. Бронштейна.
Начальник отделения 2-го отдела ГУГБ НКВД СССР (1939—1941). Заместитель начальника 3-го отдела 3-го Управления НКГБ СССР (февраль 1941 — июнь 1941). В 1941 году коллегия войск НКВД Ленинградского округа возбудила уголовное преследование в связи с его деятельностью в Пскове; дело было закрыто.
Войну встретил майором госбезопасности. Начальник 4-го отдела 3-го Управлении НКВД СССР (июль 1941 — май 1943). С февраля 1943 — полковник госбезопасности. Начальник 5-го отдела 2-го Управления НКГБ-МГБ СССР (май 1943-май 1946). Начальник отдела «О» МГБ СССР (май 1946 — август 1947). С августа 1947 г. в резерве МГБ СССР. В марте 1955 г. уволен из органов КГБ при СМ СССР.
Награждён орденами Ленина и Трудового Красного Знамени (1945). Генерал-майор (1945).
В январе 1960 года Комиссией партийного контроля при ЦК КПСС исключен из рядов КПСС за нарушения социалистической законности, в марте 1960 года восстановлен в КПСС с объявлением строгого выговора. Было установлено, что «т. Карпов, работая в 1937—1938 гг. в Ленинградском управлении и Псковском окружном отделе НКВД, грубо нарушал социалистическую законность, производил массовые аресты ни в чем не повинных граждан, применял извращенные методы ведения следствия, а также фальсифицировал протоколы допросов арестованных. За эти незаконные действия большая группа следственных работников Псковского окружного отдела НКВД еще в 1941 г. была осуждена, а т. Карпов в то время был отозван в Москву в центральный аппарат НКВД». Итоговая формулировка была следующая: «За допущенные нарушения социалистической законности в 1937—1938 гг. т. Карпов Г. Г. заслуживает исключения из КПСС, но, учитывая давность совершенных им проступков и положительную работу в последующие годы, Комитет партийного контроля ограничился в отношении Карпова Г. Г. объявлением ему строгого выговора с занесением в учетную карточку». С 1960 года на пенсии.
Похоронен в Москве на Новодевичьем кладбище.
Осенью 1943 года, под давлением союзников по антигитлеровской коалиции, а также руководствуясь внутриполитическими и внешнеполитическими соображениями, И. В. Сталин начал восстановление практически полностью уничтоженной в СССР к тому времени Православной Церкви как полностью подконтрольной руководству СССР структуры. 4 сентября 1943 года Сталиным были приняты 3 митрополита, представлявшие «староцерковное» (государство до того времени признавало только обновленцев) крыло Российской Православной Церкви: Местоблюститель Патриаршего престола Сергий (Страгородский), митрополит Ленинградский Алексий (Симанский) и митрополит Киевский и Галицкий Николай (Ярушевич). Встреча были информационно и организационно подготовлена Карповым. В ходе встречи Сталин от имени правительства заверил иерархов в поддержке и разрешил избрать Московского Патриарха (по смерти в 1925 году Патриарха Тихона (Беллавина) Московская Патриархия не имела полноценного возглавления); для постоянной рабочей связи Патриархии с руководством СССР был создан правительственный орган — Совет по делам Русской православной церкви при СНК СССР. Совет возглавил полковник госбезопасности Георгий Григорьевич Карпов (на должности до 21 февраля 1960 года); продолжал также возглавлять церковный отдел НКВД.
Весной 1949 года начальник Отдела пропаганды и агитации ЦК ВКП(б) Дмитрий Шепилов докладывал Сталину о результатах проверки работы Карпова на посту руководителя Совета, в частности, следующее: «<…> Проверкой также установлено, что председатель Совета т. Карпов ежегодно преподносил подарки высшему духовенству Русской православной церкви за счет государственных средств. Такие подарки были произведены в 1944 году, а затем это из года в год повторялось т. Карповым. В 1947 г. патриарху Алексию было преподнесено в день его рождения и именин: парчи — 15 метров, серебряный кубок и малахитовая коробка на общую сумму 14552 рубля; митрополиту Николаю — парчи 10 метров и картина на общую сумму 6585 рублей; протопресвитеру Колчицкому — парчи 12 метров стоимостью в 890 рублей. В 1948 г. на подарки указанным лицам израсходовано 11574 рубля. В 1949 г. т. Карпов для подарка патриарху Алексию в день его именин 25 февраля приобрел телевизор стоимостью в 4 тысячи рублей. В свою очередь, т. Карпов в течение 1944—1947 гг. получал в подарок от патриарха Алексия картины, шкатулку и ковёр.» Практика преподнесения подарков высшему духовенству была начата Советом в 1944 году и была согласована с Управлением делами Совнаркома Союза ССР и разрешена лично Вячеславом Молотовым.
В 1956 году в ходе инициированной Н. С. Хрущёвым антирелигиозной кампании, в которую Карпов, с точки зрения партийного руководства, недостаточно активно включился, Комитет партийного контроля при ЦК КПСС установил, что Карпов в 1937—1938 годах производил массовые аресты ни в чём не повинных граждан, применял извращённые методы ведения следствия, а также фальсифицировал протоколы допросов арестованных; поднимался вопрос об исключении его из КПСС. Из партии Г. Г. Карпов исключен не был, ему был объявлен строгий выговор с занесением в учётную карточку.
Назначенный вместо Г. Г. Карпова в феврале 1960 года Владимир Алексеевич Куроедов в своём докладе на Всесоюзном совещании уполномоченных Совета 21 апреля 1960 года так характеризовал работу прежнего руководства Совета: «Главная ошибка Совета по делам православной церкви заключалась в том, что он непоследовательно проводил линию партии и государства в отношении церкви и скатывался зачастую на позиции обслуживания церковных организаций. Занимая защитнические позиции по отношению к церкви, совет вёл линию не на борьбу с нарушениями духовенством законодательства о культах, а на ограждение церковных интересов.»