В 1889 году окончил юридический факультет Киевского университета. Вёл уголовные дела и выступал защитником известных писателей, общественных и политических деятелей (в том числе Максима Горького, В. Г. Короленко, Корнея Чуковского, П. Н. Милюкова, Л. Троцкого и других). В 1913 был одним из защитников М. Бейлиса на процессе по делу о ритуальном убийстве.
Был членом конституционно-демократической партии. Баллотировался от нее по Виленской губернии на выборах во вторую Государственную думу, но не был избран.
Во время революции 1917 года был избран во Всероссийское учредительное собрание по еврейскому национальному списку.
С 1920 года в эмиграции, был сотрудником "Современных записок". В 1921—1923 годах жил в Берлине. В 1926—1932 годах жил в Риге, где занимался практикой и основал ежемесячный юридический журнал «Закон и Суд», существовавший до 1938 года. Последние годы жизни Грузенберг провел во Франции. Умер в Ницце 27 декабря 1940 года. В 1951 году перезахоронен в Тель-Авиве.
Одна из центральных улиц Иерусалима носит имя Оскара Грузенберга.