Иванович начинал свою карьеру в своём родном городе в ФК Срем, за который выступал до перехода в ОФК Белград в 2003 году. После трёх лет игры в Сербской Суперлиге, в феврале 2006 года он заключил контракт на четыре года с московским «Локомотивом». Этот переход во многом поспособствовал развитию его карьеры в национальной сборной Сербии. Единственным трофеем, который он завоевал в составе железнодорожников, был Кубок России в 2007 году.
15 января 2008 года «Челси» подтвердил, что клуб согласился с условиями трансфера представленными Локомотивом для Ивановича, в размере ? 9 млн, после личного соглашения футболиста и прохождения медицинского осмотра. По данным средств массовой информации, ведущие клубы Европы хотели заполучить Ивановича в свои ряды. В числе претендентов были итальянские «Милан», «Ювентус» и «Интер», а также голландский «Аякс». «Локомотив» объявил цену трансфера в размере ? 13-15 млн. По данным клуба, это была самая дорогая продажа в истории российского футбола. Иванович подписал контракт с «аристократами» на три с половиной года. Футболку с номером 2 на спине игроку вручил генеральный менеджер «Челси» Питер Кеньон.
Несмотря на большую цену выплаченную за футболиста, в сезоне 2007—2008 он так и не вышел на поле в основном составе. Тем не менее, он много раз играл за резервную команду. В связи с этим, во время летнего трансферного окна, появились слухи об уходе Ивановича со «Стэмфорд Бридж» в Италию. Чаще всего упоминались Ювентус и Милан, нуждавшиеся в то время в квалифицированном игроке оборонительной линии. Однако, после прихода нового тренера Луиса Фелипе Сколари, Иванович получил доверие выступить в нескольких товарищеских матчах и матчах Премьер-Лиги.
Более чем через восемь месяцев своего пребывания в «Челси», Иванович провёл свою первую игру в Кубке Футбольной лиги против Портсмута, которая завершилась победой «синих» со счётом 4:0. А первый дебют в Премьер-лиге состоялся в матче против «Астон Виллы», в котором «синие» победили 2:0.
Первый гол Бранислав забил 8 апреля 2009 года, в ворота «Ливерпуля» в 1/4 финала лиги чемпионов на стадионе Энфилд Роуд. В этом же матче состоялся его второй мяч за «Челси». В итоге «синие» одержали верх над мерсисайдцами 1:3.
В сезоне 2009/10 Бранислав вновь оказался весьма важным игроком для "Челси". Травма защитника клуба Жозе Босингвы вывела его из строя до конца сезона, и Иванович блестяще сумел компенсировать потерю португальца. Помимо того, в матче 11 тура чемпионата против "Болтон Уондерерз" Бранислав забил свой первый и единственный гол в сезоне, ставший для него третьим в футболке "синих". Первоначально этот мяч был записан как автогол Зэта Найта, однако позже был переведён на имя сербского игрока.
Локомотив (Москва):
Челси
Личные достижения: