Родился в состоятельной еврейской семье, детство прошло на Луганском литейном заводе, где он получил домашнее образование, сочетающее изучение европейских и еврейских дисциплин. В возрасте 23 лет поступил в Харьковский университет на медицинский факультет, который оставил ввиду ухудшения материального положения семьи.
В 1845 г. с женой и дочерью переезжает в Одессу, где его принимают в число адвокатов коммерческого суда, в начале 1848 г. получает должность публичного нотариуса, открывает собственную контору и ведет обширную адвокатскую практику.
Осип Рабинович дебютировал в русской журналистике статьями в «Одесском Вестнике» в 1947-48 гг., и в русской литературе — переводом с иврита поэмы Якова Эйхенбаума «Гакраб» («Га-Крав» — Битва, Одесса, 1847), получившим хороший отзыв в петербургском журнале Библиотека для чтения. В двух выпусках одесского альманаха «Литературные вечера» 1849-50 гг. вышли его повести «История торгового дома „Фирлич и К°“» и «Мориц Сефарди». Среди авторов этого альманаха были впоследствии известные поэты Яков Полонский и Николай Щербина.
С середины 1850-х гг. публикует прозу и статьи в петербургских журналах «Современник», «Русское слово», «Библиотека для чтения», в московском «Русском вестнике» и др.
Наибольшую известность получила повесть Осипа Рабиновича «История о том, как реб Хаим-Шулим Фейгис путешествовал из Кишинёва в Одессу, и что с ним случилось» (1865). Автор ряда прижизненных книг прозы, журнальных и газетных публикаций, брошюр, посмертного 3-хтомного собрания сочинений.
С началом периода реформ 1856-60-х гг. совместно с И. Тарнополем добился права на выпуск первого русско-еврейского журнала «Рассвет» (Одесса, 1860-61), призванного отстаивать гражданские и национальные интересы евреев России, и был его редактором до закрытия издания. В 1860-е гг. был гласным Одесской городской думы, участвовал в подготовке проекта нового городского уложения.
В современных исследованиях Осип Рабинович признается одним из основателей одесской литературной традиции, получившей развитие в творчестве Семёна Юшкевича, Исаака Бабеля и других одесских писателей.