Начинал заниматься в «Боллингштедте», потом занимался в клубе «Бойэль 06», откуда в 1998 году перешёл в академию «Байера». В 2002 году подписал контракт со второй командой аспириновых, за которую стал выступать регулярно. В сезоне 2003/04 был привлечён к тренировкам основного состава, как игрок на перспективу. Дебют в Бундеслиге состоялся 10 апреля 2004 года в домашнем матче против «Кайзерслаутерна», который закончился разгромной победой «Байера» со счётом 6:0. Ян-Ингвер появился на поле когда всё уже было решено, заменив Жуана. Это был единственный матч за «Байер» в том чемпионате. Перед следующим сезоном Калльсен-Бракер получил тяжелейший перелом ноги, поэтому пропустил большую часть первенства. В следующие два сезона закрепиться и заиграть в составе аспириновых ему не удалось, за четыре сезона он сыграл всего 36 матчей, и то, либо выходя на замену, либо подменяя травмированного или дисквалифицированного игрока.
В 2008 году Ян-Ингвер решил перейти в мёнхенгладбахскую «Боруссию», которая вернулась в Бундеслигу и желала укрепить свой состав. 22 июля, сразу же после медицинского осмотра, он подписал контракт с клубом сроком на три года. 23 августа 2008 года футболист дебютировал за гладбахцев в выездном матче второго тура против «Хоффенхайма», который они приграли со счётом 1:0. Ян вышел в стартовом составе и провёл на поле весь матч. До седьмого тура он оставался игроком основы, но потом потерял это место. Всего в своём первом сезоне провёл за «Боруссию» семь матчей. Перед вторым сезоном, на тренировке в среду 22 июля 2009 года получил разрыв и воспаление связок подошвенных мышц, из-за чего он пропустил большую часть сезона. В строй Ян-Ингвер смог вернуться только в феврале 2010 года. Это и послужило причиной тому, что в сезоне 2009/10 он не принимал участие.
Перед началом сезона 2010/11 Ян-Ингвер был отправлен тренером гладбахцев Михаэлем Фронцеком во вторую команду «Боруссии». По состоянию на 31 декабря 2010 года было объявлено о переходе защитника в «Аугсбург». Калльсен-Бракер достался швабам бесплатно и подписал с ними контракт до 30 Июня 2012 года.