Родился в Воронеже. В 1883 году окончил гимназию в Воронеже, в том же году поступил на юридический факультет Петербургского университета. В 1884 году вступил в народовольческий «Союз молодежи». В 1885 году арестован, выслан в Воронеж. В 1887—1889 годах отбывает воинскую повинность. Возвращается в Петербург в 1890 году, в 1891 году был одним из основателей «Группы народовольцев». В 1894 году арестован, около 5 лет провёл в одиночной камере, в 1898 году сослан в Олекминск Якутской области. В том же году вступает в РСДРП. Во время пребывания в ссылке начал литературную деятельность, псевдоним «Ольминский» был производным от названия места ссылки. После окончания ссылки пробыл несколько месяцев в России, а в феврале 1904 года выехал в Швейцарию, где примкнул к большевикам, работал под руководством В. И. Ленина в редакциях газеты «Вперёд» и «Пролетарий».
В конце 1905 года возвращается в Петербург и становится членом редакции большевистских газет «Новая жизнь», «Волна», «Казарма». В 1907—1908 годах вёл революционную работу в Баку, с 1909 года — в Петербурге. В 1911—1914 годах член редакции газет «Звезда», «Правда», журнала «Просвещение». В 1915 году в Саратове редактор единственной в стране большевистской легальной «Нашей газеты». С 1916 году член Московского областного бюро РСДРП, редактор профсоюзного журнала «Голос печатного труда».
После Февральской революции 1917 года — один из редакторов московской большевистской газеты «Социал-демократ», затем в Петрограде сотрудничал в «Правде», член Бюро ЦК РСДРП (б). В марте 1917 член Московского комитета РСДРП (б). Делегат и один из председателей 6-го съезда РСДРП(б). Активный участник борьбы за Советскую власть в Москве, член Замоскворецкого ВРК. С декабря 1917 член коллегии Наркомфина. Избран в Учредительное собрание от Тамбовского и Московского губернского округов.
В 1918–1920 годах член редколлегии «Правды», с 1918 года профессор Социалистической академии, член бригады лекторов в агитпоездах ВЦИК и агитпоезде «Октябрьская революция». Делегат 2-го конгресса Коминтерна (1920).
Организатор и руководитель Истпарта, c декабря 1920 года был Председателем Истпарта, с ноября 1924 года по август 1928 года Председатель Совета Истпарта. Председатель Общества старых большевиков с 1922 по 1931 год, основатель и редактор журнала «Пролетарская революция». После того, как Истпарт был в августе 1928 года присоединен к Институту В. И. Ленина, становится членом дирекции Института. Издатель сочинений В. И. Ленина и Г. В. Плеханова, документов по истории партии, мемуаров участников революционной борьбы, исследователь истории партии и революционного движения в России. Инициатор переиздания протоколов состоявшихся ранее партийных съездов и конференций, а также комплектов партийных газет.
Автор публицистических, исторических, литературоведческих работ и воспоминаний. Как литературный критик особое внимание уделял творчеству М. Е. Салтыкова-Щедрина, пропагандировал литературное наследие А. С. Пушкина, Н. А. Некрасова, Н. Г. Чернышевского. С 1926 по 1929 год — член редакции журнала «На литературном посту». С 1932 года главный редактор и председатель редакционной комиссии по изданию сочинений Салтыкова-Щедрина.
Умер в 1933 году, похоронен на Красной площади у Кремлёвской стены.
Именем революционера названа улица в Харькове, улица в Кривом Роге, проезд Ольминского в Москве, улица Ольминского в Санкт-Петербурге и микрорайон Ольминского в Старом Осколе, Белгородский государственный университет носил имя Ольминского.