Зиани родился в Севре, Франция, однако имеет алжирские (кабильские) корни. Карьеру Карим начинал в парижском «Расинге», где в 1998 году юниора заметили скауты «Труа». Поиграв несколько сезонов в юношеской команде клуба Зиани стали привлекать в первую команду и сезоны 2002—2003 и 2003—2004 Карим был игроком основы «Труа». Но после вылета клуба из Ligue 1 алжирец выпал из основной обоймы и в середине сезона 2004—2005 был отдан в аренду другому клубу Ligue 2 — «Лорьяну». За 2 сезона, проведённых в «Лорьяне», Зиани сумел стать одним из лучшим его игроков, помог выйти в Ligue 1, а в сезоне 2005—2006 был признан лучшим игроком Ligue 2.
Полузащитник имел варианты продолжения карьеры в «Нанте» и «Сент-Этьене», однако следующим клубом Зиани стал «Сошо» к своему первому тренеру Алену Перрену. Проведя в клубе один сезон (38 матчей и 8 мячей) Карим привлёк к себе внимание одного из лидеров французского футбола — марсельского «Олимпика». 29 июня 2007 года алжирец стал игроком «Марселя». Сумма сделки составила 11 млн долларов. При Эрике Геретсе Зиани часто попадал в состав команды, однако полностью реализовать себя игроку мешали постоянные травмы. За 2 сезона провёл 62 матча, в которых забил 9 мячей.
В 2009 году игрок принял решение сменить чемпионат и перешёл в клуб Бундеслиги «Вольфсбург», находящийся тогда в звании чемпиона Германии. Покупая игрока тренер «волков» Армин Фе заявил: «Я очень рад, что мы подписали Зиани. Он хорошо вписывается в состав команды и поможет нам в достижении наших целей». Сумма сделки составила 7 млн евро. Первый сезон в Германии у Зиани не получился — алжирец провёл за «волков» лишь 9 матчей. Весной 2010 года появились слухи о возможном переходе Карима в ПСЖ, «Монако» или «Сент-Этьен», однако игрок остался в «Вольфсбурге». В сентябре 2010 года Зиани получил серьёзную травму бедра и выбыл из строя на длительный срок.
В начале 2011 года не имеющий игровой практики Зиани был отдан в аренду турецкому «Кайсериспору».
В составе сборной Алжира Зиани дебютировал в 2003 году, сыграв в товарищеском матче с командой Бельгии. В 2004 году Карим принял участие в Кубке африканских наций. Алжир дошёл до четвертьфинала, а Зиани был признан лучшим игроком чемпионата на своей позиции. Свой первый гол за сборную полузащитник забил в квалификационном матче к Кубку африканских наций 2008, реализовав пенальти, назначенный в ворота Гамбии. Ещё 3 мяча Карим забил в квалификации к чемпионату мира 2010 (дубль в ворота сборной Либерии и мяч Руанде). Принял участие Зиани и в успешном для Алжира Кубке африканских наций 2010, по итогам которого алжирцы дошли до полуфинала. Принимал участие в чемпионат мира 2010 года, где сыграл во всёх трёх матчах
Сошо