Осип Абдулов родился 3 (16) ноября 1900 года в городе Лодзь (ныне Польша) в еврейской семье. В 1917 году поступил на юридический факультет Московского университета.
Сценическую деятельность начал с 1918 года в студии имени Шаляпина (до 1923 года), где сыграл свою первую значительную роль — бродягу Грена в «Зеленом попугае» А. Шницлера (1919), затем выступал в Театре им. Комиссаржевской (1924—1925), МХТ (1925—1926), Театре сатиры (1926—1927), в Профклубной мастерской (1928), Театре-студии под руководством Юрия Завадского (1929—1936), Театре им. Вс. Мейерхольда, Московском театре Революции (1938—1942), а в 1943 году пришёл в труппу театра имени Моссовета.
С 1924 года Осип Абдулов работал на радио сначала в качестве актёра, а затем и как режиссёр, поставил более 200 радиоспектаклей, в том числе «Кола Брюньон» Р. Роллана, «Тартарен из Тараскона» А. Доде, «Пиквикский клуб» Ч. Диккенса, «Шинель» Н. Гоголя, «Мальва» и «Макар Чудра» М. Горького и многие другие. Организовал художественное вещание для детей.
С 1933 года снимался в кино. Лучшие его роли — Джон Сильвер в «Острове сокровищ» (1937), Тарантулов в «Человеке в футляре», грек Дымба из «Свадьбы», Крашке в «Поединке». Снялся он также в популярных фильмах «Светлый путь», «Свинарка и пастух», «Пятнадцатилетний капитан».
С 1929 года занимался педагогической деятельностью в Театре-студии Ю.Завадского, затем в ГИТИСе. Близким другом О. Н. Абдулова был актёр и режиссёр Московского ГОСЕТа Соломон Михоэлс.
Жена — актриса Елизавета Метельская.
Сын — актёр Всеволод Осипович Абдулов. Отец и сын похоронены на Введенском кладбище в Москве.