Отец — генерал-лейтенант Александр Александрович Ольхин (1812—1873), мать — начальница Мариинского института в Санкт-Петербурге Мария Сергеевна Ольхина (1817—1910). Внук фабриканта А. В. Ольхина.
Закончив Александровский лицей, начал дипломатическую карьеру, прервав которую в 1865, стал мировым судьёй, а с 1869 — присяжным поверенным. Выступал как адвокат в ряде крупных политических процессов: «процесс нечаевцев», деле В. М. Дьякова, «процессе 50-ти» и «193-х», в деле о демонстрации на Казанской площади 1876 и др. В 1879 был арестован по делу Л. В. Мирского. Осуждён за связь с революционерами. Выслан в Вологодскую губернию. В 1887 переехал в Нижний Новгород. В 1893 получил разрешение вернуться в Петербург. Вернувшись поселился в родовом имении в посёлке Белоостров.
Основным направлением его творчества была революционная поэзия, что было обусловлено радикальными взглядами Ольхина, а также близостью к народникам. Печатался в различных журналах, в том числе и подпольных («Дело», «Русская Мысль», «Земля и воля», «Начало»). Наиболее известным произведением Ольхина является переделанная им песня «Дубинушка», а также стихотворение «У гроба», посвящённое С. М. Кравчинскому.
Сестра Ольхина, Фаина Александровна была замужем за родным братом Василия Дмитриевича Поленова — Алексеем Дмитриевичем, известным в то время юристом и экономистом, а также путешественником и автором статей о Кольском полуострове, одна из которых, о Терском береге, была опубликована в журнале «Записки русского географического общества».