Начал карьеру в клубе «Буджаспор», через некоторое время перешёл в «Дарданелспор».
Во второй половине сезона 2004—2005 перешёл в «Галатасарай». За полсезона забил 8 голов, став самым результативным игроком клуба. Особенно примечательным был матч сезона 2005—2006 «Галатасарай»—"Бешикташ", закончившийся со счётом 2:1, в котором Кабзе забил 2 гола, причём второй — за 7 секунд до финального свистка, и тем самым принёс Галатасараю чемпионство. Этот матч вошёл в число «незабываемых матчей Галатасарая». Фанаты сложили песню в честь игрока.
24 июля 2007 года был приобретён казанским «Рубином» за $1 250 000. Контракт был подписан на три года. Дебютировал в Премьер-Лиге 19 августа в Ростове с одноименной командой. Матч закончился вничью 1:1. 25 августа в матче с московским «Спартаком» отметился первым в России голом. Его команда выиграла со счётом 3:1.
В июле 2010 года Кабзе подписал контракт на два года с французским клубом «Монпелье». 29 июля вышел на замену в матче третьего квалификационного раунда Лиги Европы против «Дьёра» (1:0). Дебютировал в Лиге 1 — 8 августа в матче с «Бордо» (1:0), на 82-й минуте получил жёлтую карточку, на 88-й минуте был заменён.
В январе 2012 года подписал контаркт на полтора года с Ордуспором.
По состоянию на 9 декабря 2009 года.