Иосиф Аркадьевич Коган (впоследствии известный под литературным псевдонимом Осип Ерманский) родился на юге Бессарабии в уездном городке Аккерман, расположенном у днестровского лимана, в семье мелкого ремесленника. Получил традиционное еврейское образование, учился на юридическом факультете Новоросскийского университета в Одессе, но в 1888 году за участие в студенческом движении был выслан на Кавказ. В 1891 году уехал в Швейцарию, где познакомился с П.Б. Аксельродом, В.И. Засулич, Г.В. Плехановым и Розой Люксембург. В 1892 году вступил в социал-демократическую организацию, одновременно обучался в Цюрихском политехникуме, после окончания которого в 1895 году вернулся в Россию.
Стал одним из руководителей Союза социал-демократических комитетов и организаций Южной России и газеты «Южный рабочий». В 1902 году вновь эмигрировал и после Второго съезда РСДРП (1903) стал меньшевиком. С 1905 года жил в Петербурге, делегат Четвёртого (Объединительного) съезда РСДРП (1906). В 1907 году начал заниматься литературной деятельностью, был редактором ряда газет. В 1909 году стал одним из основных участников пятитомного издания «Общественное движение в России в начале XX в».
В годы Первой мировой войны — один из руководителей Петроградской «Инициативной группы», стоявшей на интернационалистских позициях, писал антивоенные листовки и сотрудничал в меньшевистской прессе.
После Февральской революции 1917 года с марта по май 1917 года был главным редактором центрального органа меньшевиков «Рабочая газета». Делегат Первого Всероссийского съезда Советов (июнь), избран членом ВЦИК от фракции меньшевиков. В сентябре—декабре был редактором и сотрудником левоменьшевистской газеты «Искра», участник Демократического совещания (сентябрь), член Предпарламента (октябрь), один из лидеров фракции меньшевиков-интернационалистов.
После Октябрьской революции 1917 года выступал за создание однородного социалистического правительства. В конце ноября — начале декабря был делегатом Чрезвычайного съезда РСДРП(м), избран в Президиум съезда; в отличие от Ю.О. Мартова предлагал меньшевикам войти во ВЦИК с целью создания противовеса большевистской тактике. Участник 3-й Циммервальдской конференции (25—30 августа), член ВЦИК от фракции меньшевиков.
Весной 1918 года вместе с ЦК меньшевиков переехал в Москву, редактировал журнал «Рабочий интернационал». В 1919 году избран действительным членом Социалистической Академии, а в 1920 году — депутатом Моссовета. 23 августа 1920 года арестован, освобождён через месяц. В апреле 1921 года вышел из РСДРП, стал профессором экономики Первого Московского государственного университета и сосредоточился исключительно на исследованиях в области рационализации и научной организации труда. Вновь арестован в 30 июля 1921 года (освобождён 27 августа с лишением паспорта и подпиской о невыезде) и в 1931 году. В 1933-1936 годах заведовал кафедрой экономики и организации производства МВТУ. Арестован в 1937-ом и снова в 1940 году, погиб в исправительно-трудовом лагере в 1941 году.
Осип Ерманский — автор ряда монографий в области научной организации производства, в том числе «Система Тейлора. Что несет она рабочему классу и всему человечеству. С указателем литературы на рус. и иностр. языках» (Петроград—Москва, 1918), «Указатель книг и статей по научной организации труда и производства» (Москва, 1921), «Научная организация труда и производства в системе Тейлора» (Москва, 1925, четыре переиздания), «Трагедия расточительства в производстве» (Москва—Ленинград, 1929), «Теория и практика рационализации» (Москва—Ленинград, 1928, пять переизданий до 1933 года), «Стахановское движение и стахановские методы» (Москва: Соцэкгиз, 1940). Ему принадлежит так называемая психофизиологическая концепция советской науки организации производства (принцип физиологического оптимума Ерманского). Рассматривал научную организацию труда как синтетическую научную систему, черпающую материал из других научных дисциплин, главным образом из сферы техники, экономики и психофизиологии труда.
В 1927 году были опубликованы мемуары Ерманского «Из пережитого (1877-1921)» (Москва: Госиздат), содержащие обширный материал по истории социал-демократического движения в России.