Происходил из старинного мекленбургского дворянского рода, представители которого переселились в Россию при Петре I.
По воспоминаниям академика Ф. И. Щербатского,
Вторая — Елена Григорьевна, урождённая Клеменц, в первом браке Головачёва (1875—1955) — работала учительницей в Чите. Стала женой С. Ф. Ольденбурга в 1923.
Окончил первую Варшавскую гимназию (1881; с золотой медалью), санскритско-персидский разряд факультета восточных языков Санкт-Петербургского университета (1885; тема кандидатской работы: «Очерк фонетики и морфологии пракритского наречия Magadhi»). Магистр санскритской словесности (1895; тема диссертации: «Буддийские легенды. Часть I. Bhadrakalpavadana Jatakamala»).
Член возникшего в середине 80-х годах кружка («Братства»), объединившего молодых интеллектуалов, получавших образование в Петербургском университете (среди них были также В. И. Вернадский, Д. И. Шаховской, А. А. Корнилов, И. М. Гревс). В 1887—1889 работал в библиотеках Парижа, Лондона и Кембриджа, главным образом, над буддийскими рукописями.
С 1889 — приват-доцент факультета восточных языков Санкт-Петербургского университета, также преподавал санскрит на историко-филологическом факультете. С 1 января 1897 — профессор. В 1899 покинул университет в знак солидарности с уволенными оппозиционно настроенными преподавателями.
Основная тематика его научных трудов — религия, поэзия и искусство, древности и история Индии, персидская и западные литературы, вопросы этнографии и истории востоковедения. В области сравнительной истории литературы, он исследовал главным образом влияние восточных литератур на средневековую европейскую. Магистерская диссертация С. Ф. Ольденбурга посвящена санскритским джатакам — рассказам о перерождениях Будды, представляющим собой огромный свод сказочного фольклора. Изучал трансформацию буддийских учений при их взаимодействии с народной средой. Считал, что
В 1897 основал международную серию «Bibliotheca buddhica. Собрание оригинальных и переводных буддийских текстов», выходившую до 1937(1960). До своей кончины редактировал это издание, в рамках которого вышло 30 томов в более чем 100 выпусках. В рамках серии были опубликованы тексты, принадлежащие к традиции «северного буддизма», на санскрите, китайском, тибетском и монгольском языках с введениями и научным аппаратом преимущественно на английском, французском и немецком языках.
Из воспоминаний И. Д. Хлопиной, жившей в начале 20-х гг. в семье С. Ф. Ольденбурга
С 5 (17) февраля 1900 — адъюнкт по литературе и истории азиатских народов Императорской Академии наук, с 19 апреля (2 мая) 1903 — экстраординарный академик, с 1 (14) ноября 1908 — ординарный академик. В 1904—1929 — непременный секретарь Академии наук.
В 1909—1910 и 1914—1915 руководил археологическими экспедициями в Восточный Туркестан, в ходе которых были найдены и описаны многочисленные памятники древней буддийской культуры. При этом предметы, нуждавшиеся в спасении и реставрации, были перевезены в Петербург, где пополнили коллекции Эрмитажа и Азиатского музея (затем — Института востоковедения). Был инициатором ряда русских научных экспедиций в Центральную Азию и Тибет, являлся председателем этнографического отделения Императорского Русского географического общества, секретарём Восточного отделения Русского археологического общества. С 1916 был директором Азиатского музея.
Был членом Конституционно-демократической партии (Партии народной свободы). В 1912—1917 — член Государственного совета по выборам от Академии Наук и университета, был одним из левых членов этой весьма консервативной законодательной палаты. С 1915 — член Особого совещания по обороне государства.
В июле — августе 1917 — министр народного просвещения Временного правительства. Под его руководством обсуждались проекты организации франко-русского института с техническим уклоном и обучением на французском языке и об образовании Украинской Академии наук в Киеве.
Первоначально резко негативно воспринял приход к власти большевиков, но уже с 1918 начал активно сотрудничать с советской властью. По мнению биографа С. Ф. Ольденбурга Б. С. Кагановича, суть его позиции можно сформулировать так: «Лояльность к советской власти и участие в ряде ее экономических и культурных программ с сохранением автономии и внутренней независимости Академии». По словам народного комиссара просвещения А. В. Луначарского, Ольденбург оказался «одним из самых крепких и самых нужных звеньев между советской властью и крупнейшей мировой и нашей интеллигенцией и сыграл в этом отношении выдающуюся роль».
В сентябре 1919 был арестован, спустя примерно три недели освобождён. Литературовед Е. П. Казанович записала в своём дневнике, что «у него после освобождения была походка человека, на двадцать лет состарившегося и разбитого».
Близкий друг Ольденбурга, историк и литературовед Д. И. Шаховской дал такую характеристику как его личности, так и деятельности при советской власти:
Фактически руководя деятельностью Академии наук до 1929, способствовал её сохранению, созданию условий для проведения научных исследований, неоднократно добивался освобождения или облегчения участи арестованных учёных. Организатор юбилейных торжеств по случаю 200-летия Академии наук в 1925.
Заслуги Ольденбурга получили международное признание — в 1920-е годы он был избран членом-корреспондентом Прусской академии наук, Геттингенской Академии наук, почётным членом Королевского Азиатского общества Великобритании, Парижского Азиатского общества, почётным доктором Эбердинского университета в Глазго и Археологического института Индии.
В 1928 отношения между советской властью и Академией наук стали быстро ухудшаться, что свидетельствовало о скором конце системы компромиссов, на которой основывалась административная деятельность Ольденбурга. В январе 1929 академики демонстративно провалили трёх кандидатов-коммунистов, баллотировавшихся в состав АН, но уже в феврале, в условиях сильнейшего давления, они были вынуждены пересмотреть своё решение. Начало так называемого «Академического дела» осенью 1929 (оно было связано с обвинениями в адрес сотрудников Академии в сокрытии важных документов политического характера, в том числе акта об отречении Николая II, архивов ЦК партий кадетов и эсеров) привело к смещению Ольденбурга с поста непременного секретаря Академии в конце октября 1929. После этого органы советской власти установили полный контроль над Академией, многие сотрудники которой были подвергнуты репрессиям.
В 1930—1934 — директор Института востоковедения АН СССР, созданного на базе Азиатского музея, Коллегии востоковедов, Института буддийской культуры и Туркологического кабинета.