Происходил из польской семьи, разночинец, отец — учитель. Закончил юридический факультет Московского университета. Имел собственную адвокатскую практику в Вильно (ныне Вильнюс). В 1896—1899 годах был членом «Рабочего союза Литвы» и редактором его газеты — «Рабочее обозрение». В 1899 году вместе с Феликсом Дзержинским способствовал слиянию «Рабочего союза Литвы» с партией «Социал-демократия Королевства Польского» в единую партию «Социал-демократия королевства Польши и Литвы (СДКПиЛ)». Во время революции 1905 года был членом военно-революционной организации и стачечного комитета в городе Вильно (ныне Вильнюс). После подавления революции правительством эмигрировал. В 1907 году был делегатом V съезда РСДРП в Лондоне. Начиная с 1909 года, вел революционную агитацию в союзе металлистов Санкт-Петербурга.
После Февральской революции 1917 года Козловский был избран депутатом Петроградского совета, членом его Исполкома и ЦИК 1-го созыва, а также председателем Выборгской районной думы. В апреле 1917 года был избран членом Петербургского комитета РСДРП (б). Участвовал в работе Особого совещания по выработке закона о выборах в Учредительное собрание как представитель РСДРП(б). Представлял интересы РСДРП(б) на судебном процессе 5 мая 1917 года о выселении ЦК и ПК РСДРП(б) из особняка балерины Кшесинской на Кронверкском проспекте.
В начале июля 1917 года Козловский был обвинен правительством Александра Керенского вместе с Лениным, Зиновьевым и другими в государственной измене в связи с деятельностью копенгагенской экспортно-импортной компании Парвуса—Ганецкого, которой оказывал юридические услуги; 6 июля он был арестован у себя на квартире на Преображенской улице. На квартире Козловского вместе с ним были арестованы и другие деятели РСДРП(б), как например Иосиф Уншлихт. 31 августа 1917 года после подавления Корниловского мятежа Козловский под залог был переведен из «Крестов» под домашний арест. Тогда же под залог были выпущены и многие другие из арестованных большевкиков, межрайонцев и левых эсеров.
После Октябрьской революции 1917 года М. Ю. Козловский работал председателем следственной комиссии Петроградского военно-революционного комитета, вёл дела о юнкерско-офицерском мятеже 29 октября и о монархической организации В. М. Пуришкевича.
Затем работал в наркомате юстиции (декабрь 1917 — ноябрь 1920 года) и в составе Малого СНК РСФСР (марте 1918 — ноябре 1920 года — член СНК, затем председатель).
В этот же период в январе — апреле 1919 года был наркомом юстиции и членом Президиума ЦИК Литовско-Белорусской советской республики (Литбел).
В 1922—1923 годах работал в качестве генерального консула в Вене и заместителя полпреда в Австрии. Вскоре он был переведен на дипработу в Рим, а затем в Берлин. В 1923 году был окончательно отозван с дипломатической службы и назначен главным юрисконсультом Народного комиссариата путей сообщения. В 1924 году был делегатом XIII съезда РКП (б).
Похоронен на Новодевичьем кладбище Москвы.