Каи Йохансен начал свою карьеру в клубе «Корслёкке», откуда он перешёл в клуб «1909» из Оденсе, где выступал на позиции нападающего, не преуспев в качестве форварда, Йохансен ушёл из «1909» и перешёл в клуб «Оденсе», где уже играл на месте защитника и даже привлёк внимание тренерского штаба сборной Дании, в которой дебютировал 11 июня 1962 года в матче со сборной Венгрии, всего за сборную Йохансе сыграл 20 матчей.
Игрой за национальную сборную Йохансен привлёк к себе внимание британских клубов и в 1963 году перешёл в шотландский клуб «Гринок Мортон», а уже на следующий сезон перешёл в «Рейнджерс» за 20 000 фунтов, подписав контракт 24 июня. Йохансен — первый не-британец, который выиграл кубок Шотландии, более того, в финале кубка, состоявшегося в 1966 году против извечного соперника «Рейнджерс», «Селтика», именно Йоханес своим ударом с 25-ти метров забил единственный в этой встрече гол. Именно этот гол позволил «Рейнджерс» на следующий год играть в Кубке кубков, в котором шотландский клуб дошёл до финала, в котором, правда, проиграл «Баварии», в том турнире Йоханес забил важнейший мяч в поединке с «Боруссией» из Дортмунда. Несмотря на успехи в Шотландии, в сборной Йоханес играть не мог, ведь по тогдашним правилам, в сборной Дании могли играть лишь любители, а Йоханес, получая зарплату в Шотландии, уже был профессионалом.
После ухода из футбола в 1970, Йоханес, имевший свой магазин одежды в Оденсе, вернулся к своему бизнесу, так же он управлял пабами в Глазго и Коста дель Соль. Затем Йозанес вернулся в мир футбола и стал работать футбольным агентом, помогая игрокам заключать выгодные контракты.
В 2006 году к Йоханеса был обнаружен рак, а 13 мая 2007 года датчанин скоропостижно скончался. «Рейнджерс» почтил память игрока минутой молчания перед игрой с «Килмарноком», состоявшейся в день смерти Йохансена.