К.Янссен родился в семье художников, его отец был гравёром по меди, брат Петер — художником. Первые уроки по искусству Карл брал у своего брата. В 1872—1880 годах он учится в Королевской прусской художественной академии в Дюссельдорфе, под руководством Августа Виттига. В 1878 Янссен получает Римскую стипендию, в 1881 году он выезжает в Италию и остаётся для учёбы там до 1884 года.
Первым значительным произведением Янссена является бюст-памятник фабриканту Пёнсгену (1883). В 1884 он, вместе с Йозефом Тюзхаузом, с которым был знаком ещё по учёбе в Академии, получает заказ на создание скульптурной группы Отец Рейн и его дочери, приуроченной к приезду кайзера в Дюссельдорф. Это произведение так понравилось дюссельдорфцам, что через 12 лет они заказали обоим художникам её более крупную версию в бронзе — как фонтанную группу (1897). В 1896 году Янссен выполняет для Дюссельдорфа конную бронзовую статую кайзера Вильгельма. С 1893 года он — профессор в Художественной академии Дюссельдорфа, заняв кафедру своего учителя А.Виттига. Среди учеников К.Янссена следует назвать таких мастеров, как Бернгард Хётгер, Вильгельм Лембрук, Тони Штокхейм.
После окончания Первой мировой войны скульптор, по заказу семьи промышленников Henkel создаёт памятник павшим на полях сражений работникам их предприятий. Этот памятник установлен в промышленной зоне дюссельдорфского района Хольтхаузен. Последней крупной работой К.Янссена была статуя Скорбящей для семейного мавзолея Хенкель (1925) в Дюссельдорфе.