Начинал карьеру в молодёжной команде клуба «Олимпия» из родной Любляны. Так и не сыграв ни разу за основную команду «Олимпии», уехал играть в Австрию, где выступал за клубы низших дивизионов «Фойтберг» и ЛАСК и за середняка высшей лиги «Маттерсбург».
После трёх сезонов в Австрии перешёл летом 2005 года в болгарский «Литекс». Проведённый в «Литексе» сезон 2005/06 сложился для Миливое весьма успешно: он стал лучшим бомбардиром чемпионата страны (16 мячей), а его клуб занял третье место в лиге, уступив лишь величайшим болгарским клубам — софийским ЦСКА и «Левски», также «Литекс» вышел в плей-офф Кубка УЕФА.
В конце августа 2006 года Новакович перешёл в «Кёльн», игравший тогда во второй Бундеслиге; сумма трансфера составила примерно 1,5 млн евро. В первом сезоне за «Кёльн» забил 10 голов, что не помогло его клубу решить задачу выхода в высшую лигу — «Кёльн» стал лишь девятым. В следующем сезоне (2007/08) «Кёльн» стал третьим в лиге, получив право выступить в первой Бундеслиге, Миливое же, забив 20 голов, стал лучшим бомбардиром второй Бундеслиги. В сентябре 2008 года Новакович был назначен капитаном команды тренером Кристофом Даумом. В сезоне 2008/09 Миливое, лидер кёльнского клуба, забил 16 мячей.
Новакович дебютировал в сборной Словении в возрасте 26 лет 28 февраля 2006 года в победном (1:0) гостевом матче против Кипра. 31 мая 2006 года сделал хет-трик в матче против Тринидада и Тобаго. Всего провёл за сборную 34 игры, забил 13 голов, является одним из ведущих её игроков.
В конце июня 2011 года Миливое Новакович был признан самым ценным нападающим лучшей пятёрки европейских чемпионатов страны, опередив по результативности ударов такого игрока, как Лионель Месси (2,47 удара по воротам на один гол у Новаковича против 3,7 по аналогичному показателю у Месси).