Родился в Оденсе, Бёгелунн начал играть в молодёжном составе местной команды «ФК Оденсе». Пока он играл в этом клубе, он был капитаном сборных Дании различных возрастов, получил награду Лучшего игрока Дании до 17 лет. В марте 1997 Бёгелунн подписал свой первый профессиональный контракт с ПСВ Эйндховен. Начиная с января, он два года играл в резерве. Его дебют в первой команде состоялся в марте 2000 года.
Он получил свой шанс с ПСВ в сезоне 2001/02, вышел в лиге 24 раза, он был призван в датскую национальную сборной в феврале 2002 года, тренером Мортен Ольсен. Он был включён в заявку на Чемпионат мира 2002, вышел в двух из четырёх играх сборной Дании. В сезоне 2002-03 он был частью команды, которая выиграла в 2003 году чемпионат Нидерландов. Каспер был включён в состав национальной сборной на Чемпионате Европы 2004 года, где он снова выходил только на замену.
После травмы осенью 2004 года, Бёгелунн потерял своё место в датской национальной сборной, а также в ПСВ, где его заменил Андре Ойер. Сезон в 2005 году закончил вместе с ПСВ выиграв чемпионат Нидерландов. Летом 2005 года он уехал играть за рубеж в немецкую Бундеслигу за Боруссия Менхенглабдах. 27 августа 2005 года Бёгелунн забил гол в матче против Шальке 04, который был награждён «Тор DES Jahres» в январе 2006 года немецкой телевизионной сетью ARD.
После долгого перерыва, в сентябре 2008 он вновь был вызван в национальную сборную, однако буквально за два дня до матча против Венгрии получил травму и пропустил тот (0:0) и следующий матч четыре дня спустя против Португалии (3:2). Однако через месяц ему вновь представилась возможность сыграть за Данию: он был вызван на домашний матч против Мальты, заменив травмированного Ларса Якобсена на позиции правого защитника. Бёгелунд отыграл все 90 минут и отдал голевой пас. Матч закончился со счётом 3-0.