Герман Ольденберг родился в семье протестантского священника. В молодости изучал классическую филологию в Геттингене и Берлине. В 1875 году в Берлинском университете защитил кандидатскую диссертацию по арвальским братьям. Здесь же в 1878 году получил докторскую степень по санскритологии.
В 1889 году получил звание профессора в Киле, где проработал до 1908 года, когда перевёлся в университет Геттингена, в котором проработал уже до конца своей жизни. В январе 1912 и 1913 гг. преподавал в Индии.
Начав с перевода и публикации «Шанкхаяна-грихья-сутры» в 1878 году, молодой Ольденберг обратил после этого свое внимание к палийским буддистским текстам. Он по сути был первым, кто занялся этими материалами всерьёз. Уже в 1879 году он перевёл и издал «Дипавамсу», а в 1881-1885 гг. вместе с Т. У. Рис-Дэвидсом перевёл на английский язык и издал три выпуска текстов «Виная-питаки». Знаковой работой этого периода в области буддизма стала книга Ольденберга «Buddha: Sein Leben, seine Lehre, seine Gemeinde», написанная им в 26 лет.
Другой важной областью научной деятельности Г. Ольденберга были исследования Вед. Многие его труды в этой области стали классическими работами в индологии. Так, три работы Ольденберга — «Die Hymnen des Rigveda» (1888), «Die Religion des Veda» (1894), and «?gveda: Textkritische and exegetische Noten» (1909–1912) — долго были основополагающими при изучении «Ригведы». Первой из них он заложил основы для филологического изучения текста этого памятника. Также в монументальной серии «Священные книги Востока» (Sacred Books of the East), издаваемой Максом Мюллером, Ольденберг выпустил 2 тома переводов грихья-сутр и вторую часть «Vedic Hymns». Кроме этого остались также многочисленные статьи этого учёного по ведийской тематике.