Родился 2 февраля 1839 года в городе Угличе Ярославской губернии в семье смотрителя местного народного училища. Учился в Борисоглебском духовном училище, в Ростовском уездном училище и в Ярославской гимназии. В 1855 году поступил в Демидовский лицей, но через два года оставил его.
Не имея никаких средств, пешком пришёл в Москву и поступил на Юридический факультет Университета. Зарабатывая себе средства к существованию тяжёлым трудом, Г. Ф. Карпов в 1861 году окончил курс и, по рекомендации С. М. Соловьёва, обратившего внимание на даровитого и прилежного слушателя, был назначен репетитором в Александровское военное училище; вместе с тем он причислен был к университету для приготовления к профессорскому званию.
В 1867 году он защитил диссертацию на степень магистра русской истории «История борьбы Московского государства с польско-литовским (1462—1508)» и был назначен доцентом в Харьковский университет. В 1870 году он получил степень доктора за диссертацию «Критический обзор разработки главных русских источников, до истории Малороссии относящихся». В 1871 году он оставил службу в университете; в это время в материальном отношении положение его значительно улучшилось; он переселился в Москву и отдался научным занятиям.
15 октября 1866 года он был избран членом Общества истории и древностей, 6 мая 1873 года — членом Археографической комиссии, 17 марта 1880 года — членом Русского исторического общества. В занятиях этих учёных обществ и учреждений он принимал живое и деятельное участие. Под его редакцией вышло несколько изданий; в Археографической комиссии он постоянно принимал участие в разборе и оценке различных древних документов, в Обществе истории и древностей в течение 12-ти лет был казначеем.
После смерти Г. Ф. Карпова 24 апреля 1890 года его вдова, A. T. Kapпова, урождённая Морозова, внесла в Общество истории и древностей 11 500 рублей с тем, чтобы ежегодно проценты с этих денег выдавались в виде премии за учёные исследования в области русской истории, причём преимущество отдавалось трудам, посвящённым истории Малороссии.
Один из ближайших учеников С. М. Соловьёва, Г. Ф. Карпов направил своё внимание преимущественно на изучение процесса образования и устроения русского государства; последовательно он изучал самые решительные кризисы, какие пережила Московская Русь в работе над государственным объединением русского народа. Богатство и свежесть данных о древней русской жизни, извлеченных С. М. Соловьёвым из его архивных работ, привлекли внимание и Г. Ф. Карпова преимущественно к изучению материала архивного. Первый учёный труд Г. Ф. Карпова «Очерки из истории российской церковной иерархии» (напечатан в 1864 году) посвящён изучению церковно-нравственных сил, поддерживавших в русском народе стремление объединиться. В магистерской диссертации (напечатана в 1864 году), автор рассмотрел объединительную деятельность великого князя Ивана Васильевича III и дал оценку многих источников для истории того времени.
Впоследствии Г. Ф. Карпов обратился к вопросу о воссоединении Малой России и Великой; но состояние источников, необходимых для этой работы и в особенности ошибки некоторых прежних исследований по тому же вопросу, потребовали стольких предварительных критических исследований, что Г. Ф. Карпов целую докторскую диссертацию посвятил «Критическому обзору разработки главных русских источников, до истории Малороссии относящихся за время 8 января 1651 г. — 30 мая 1672 г.». Тут он выделил первоначальную, фактическую основу в повествованиях о Богдане Хмельницком, от позднейших прибавлений и баснословий; нередко ему приходилось не только опровергать вымыслы, но ещё и указывать, как и даже для чего в иных учёных трудах эти вымыслы поддерживались. Многие выводы и замечания Г. Ф. Карпова вызвали против него упрёки в слишком пристрастном, «московском» отношении.
Кроме того, под редакциею Г. Ф. Карпова напечатаны
На средства Г. Ф. Карпова сделано издание фотографического снимка с Изборника 1073 года великого князя Святослава.