Родился 28 декабря 1905 (10 января 1906) в Сновске, (ныне г. Щорс, Черниговская область, Украина) в бедной еврейской семье.
В раннем детстве освоил скрипку, играл в клезмерском ансамбле. В 1920—1923 годах служил трубачом в Красной Армии. С 1923 обучался игре на скрипке у Д. Ф. Бертье и дирижированию у А. И. Орлова. В 1923—27 учился в Киевской консерватории, в 1930 окончил дирижёрский факультет Музыкально-драматического института им. Н. В. Лысенко.По окончании Киевской консерватории работал в Харькове и Куйбышеве, был инициатором создания симфонического оркестра в Донецке.
В 1937 году возглавил новосозданный в Киеве Государственный симфонический оркестр Украинской ССР, которым руководил до 1962. В качестве гастролера работал с Государственным Академическим симфоническим оркестром СССР (который по совместительству возглавлял в 1941—1945), оркестром Ленинградской филармонии, Большим симфоническим оркестром Всесоюзного радио и телевидения, оркестром Ленинградского радиокомитета и др.
В 1966 году по приглашению Назиба Жиганова переехал в Казань, став главным дирижёром только что созданного Государственного симфонического оркестра Татарской АССР. За годы работы сформировал и воспитал коллектив, исполнил значительную часть мирового симфонического репертуара, часто гастролировал с оркестром в городах Татарстана.
В 1938—1966 годах (с перерывом) преподавал в Киевской консерватории (с 1946 — профессор). В 1967—1979 годах — профессор Казанской консерватории. Среди его учеников были Куценко, Виталий Данилович и др.
Умер в Казани 28 июня 1979. Похоронен в Киеве на Байковом кладбище.
Музыкант импровизационного и «чувственного» склада, Рахлин был особенно убедителен в романтическом репертуаре. Высшими его достижениями стали интерпретации «Фантастической симфонии» Берлиоза, симфонических поэм Листа, «Франчески да Римини» и последних симфоний Чайковского. Первый исполнитель Одиннадцатой симфонии Шостаковича (1957), многих произведений украинских и татарских композиторов.
Рахлин охотно прибегал к ретушам для достижения необходимого звукового результата. Особое значение дирижер придавал тембровому единству групп в совместном звучании, что формировало характерный «органный» тон его оркестра.
Среди профессионалов восхищение вызывали феноменальная память Рахлина, доскональное знание и практические навыки игры на всех инструментах симфонического оркестра, исключительно пластичные выразительные руки и волевое воздействие на коллектив.