Милорад Павич начал карьеру в клубе «Вальево», также выступал за клуб «Црвена Звезда». Расцвет его карьеры игрока пришёлся на годы войны, в которой Павич воевал и был взят в плен немцами; таким образом война помешала дальнейшему развитию его игровой карьеры.
После окончания карьеры игрока Павич стал тренером, возглавив «Црвену Звезду», трижды выиграв с командой национальный чемпионат и три кубка Югославии, под его руководством «Црвена Звезда» провела 216 официальных матчей, из которых победила в 113-ти, 52 матча свела вничью и 51 проиграла. В 1962 году Павич поехал в качестве члена тренерского штаба сборной Югославии на чемпионат мира в Чили, на котором югославы дошли до полуфинала.
В 1964 году Павил уехал из Югославии в Бельгию, став на тренерский мостик «Стандарда», приводя клуб ко второму, двум третьим и четвёртому местам в бельгийском первенстве, дважды выиграл кубок Бельгии, затем руководил клубом «Брюгге», который в первый сезон Павича в команде занял второе место; после второго сезона, в котором клуб был лишь 5-м в чемпионате, вылетел в первом туре еврокубка с «Вест Бромвич Альбион», а в бельгийском кубке оступился на стадии 1/8 финала, югослава уволили. В 1969 году Павич возглавил клуб «Льеж», в первом сезоне клуб занял лишь 11-е место, а через год повторил этот результат. Последним клубом в бельгийском этапе карьеры Павича стал «Тийёр Сан-Николя», в котором он несколько месяцев исполнял обязанности главного тренера клуба.
В 1972 году Павич уехал в Испанию, возглавив клуб «Атлетик» из Бильбао. За два года работы Павича в команде «Атлетик» занял 9-е и 5-е места в чемпионате; под его руководством клуб в 1973 году выиграл Кубок Испании. Затем Павич один год руководил португальской «Бенфикой», выиграв с клубом чемпионат Португалии. Затем вернулся в Испанию и два сезона работал с «Малагой», которую сначала вывел в Примеру, а потом вылетел из неё, заняв последнее место.
Затем Павич руководил французским клубом «Руан», с которым занял последнее место в чемпионате, и недолго поработал на родине, в «Войводине». В 1978 году Павич во второй раз уехал в Португалию, чтобы тренировать «Спортинг», с которым бил лишь 3-м. Потом было возвращение в Испанию, где Павич работал с «Сельтой» и «Эспаньолом». Последним клубом в тренерской карьере Павича стал «Стандард», которым с небольшим перерывом он руководил 3 сезона. Со Стандартом Павич успехов не добился, хотя был близок к этому, в сезоне 1985/86 клуб набрал одинаковое количество очков с «Андерлехтом», но стал вторым из-за худшей разницы забитый и пропущенных мячей.
После распада Югославии Павич вернулся в родное Вальево, жил там; скончался 16 августа 2005 года в больнице Белграда.