Начал профессиональную карьеру в команде «Мартиг» из одноимённого города. Позже играл за марсельский «Олимпик». В составе команды провёл всего один матч в Лиге 1. 15 мая 2004 года Ба сыграл в выездном матче «Олимпика» против «Тулузы» (2:1), на 54 минуте Халифа заработал красную карточку и был удалён с поля. Затем играл на правах аренды за клуб «По» и сыграл 27 матчей и забил 1 гол. В феврале 2006 года появилась информация что Ба перешёл в донецкий «Металлург», сообщалось что он перешёл в клуб на правах аренды и подписать полноценный контракт. После Ба выступал за команды «Либурн» и «По».
В марте 2010 года был заявлен за казахстанский клуб «Актобе».