Отец — Густав Иванович, обрусевший швед, выходец из Финляндии, начальник Саратовской биржевой почтово-телеграфной конторы.
Брат — Герман, выпускник юридического факультета Казанского университета, присяжный поверенный. Сестра — Нина.
Сын — Владимир, известный американский фотограф, автор книги English Key to the Economical and Cultural Atlas of USSR (Нью-Йорк, 1968).
Окончил Царицынскую гимназию (1899; с золотой медалью), юридический факультет Казанского университета (1903). Ученик профессора Н. П. Загоскина. Был оставлен при университете для подготовки к профессорскому званию. Магистр истории русского права (1912; тема диссертации: «Очерки политического суда и политических преступлений в Московском государстве XVII века»).
В молодости был помощником присяжного поверенного. Наиболее известное дело, которое он вёл — о краже Казанской иконы Божьей матери. 23-летний начинающий адвокат Г. Г. Тельберг защищал (по назначению) признанного виновным в краже вора Чайкина. Позднее вспоминал, что
Также в качестве защитника в 1905—1908 участвовал в крупных политических процессах на Северо-Востоке России, в городах Оренбурге и Уфе.
Придерживался либеральных политических взглядов. 4 мая 1905 выступил на заседании Казанского юридического общества с речью, в которой высказался за разрушение полицейско-бюрократического строя и замену его «строем свободно-общественным», критиковал политику правительства, выступал в защиту прав человека. В 1905 вступил в Конституционно-демократическую партию (Партию народной свободы), был одним из организаторов её организации в Казани. В 1918 входил в состав Восточного отдела Партии народной свободы.
С 1908 — приват-доцент Казанского университета по кафедре истории русского права. С 1910 — приват-доцент Московского университета. Читал лекции в Народном университете имени А. Л. Шанявского, на женских педагогических и на юридических курсах. В 1912 был избран членом Московского Археологического института, за научные труды получил золотую медаль имени М. М. Сперанского. С 1912 — и. д. ординарного профессора Томского университета по кафедре истории русского права. С 1914 также был председателем совета Юридического общества при Томском университете. Совершил несколько поездок по Сибири с целью изучения волостных архивов.
В 1917 был избран деканом юридического факультета Саратовского университета и директором Экономического института. Специалист в области истории права и государственных учреждений в России.
С 10 сентября 1918 работал старшим юрисконсультом Совета министров Временного Сибирского правительства, с 4 ноября — управляющий делами Временного Всероссийского правительства, с 18 ноября — управляющий делами Верховного правителя и Совета министров.
С 2 мая 1919 — министр юстиции Российского правительства (был им до 29 ноября 1919), сохранив за собой должность управляющего делами (до 16 августа 1919). С 4 июля 1919 — заместитель председателя Совета министров (до 29 ноября 1919). Также входил в состав Совета Верховного правителя. Считался активным участником «группы И. А. Михайлова» в правительстве, был одним из наиболее влиятельных министров. Сторонник жёстких методов борьбы с большевизмом, заявлял, что
Инициатор введения судов присяжных в Восточной Сибири и на Дальнем Востоке. В одном из выступлений заявил:
Являлся создателем внутри правительства «Комитета законности и порядка» из трёх министров (внутренних дел, юстиции и военного), который должен был собираться не менее одного раза в неделю. На заседаниях комитета должны были обсуждаться факты нарушения законности правительственными служащими. Однако из-за юридических недоработок и упущенного времени, это начинание оказалось неэффективным. 12 августа 1919 большая часть министров выступила против закулисного проведения им законопроектов, в том числе — «О Совете Обороны», принятого чрезвычайным указом адмирала А. В. Колчака без обсуждения в правительстве. Следствием этого выступления стало увольнение Г. Г. Тельберга с должности управляющего делами и снижение его аппаратного влияния.
Деятельность Г. Г. Тельберга вызывала серьёзную критику общественности за неспособность справиться с коррупцией в государственном аппарате и утвердить основы законности на территории Сибири (впрочем, этого в условиях Гражданской войны вряд ли кто-нибудь смог добиться).
Имел богатую личную библиотеку, которую перед отъездом за границу оставил библиотеке Томского университета на хранение. Она была обнаружена лишь через десять лет, в 1929.
14 декабря 1919 выехал за границу. Был профессором истории русского права юридического факультета в Харбине. Также читал лекции по русской истории, государственному праву, вёл семинары по международному праву. Преподавал в Американской академии и в Высшем японском коммерческом колледже в Циндао. Был владельцем книжного магазина в Харбине.
После закрытия юридического факультета в 1937 переехал в Циндао, где занимался книжной торговлей, читал лекции по русской истории в литературно-драматическом кружке и гимнастическом обществе «Русский сокол».
После Второй мировой войны жил в США, где основал компанию Telberg Book Corporation. Похоронен на кладбище Новодивеевского монастыря.