Нильсен родился в деревне Нёрре Линдельс на острове Фюн. Его отец был маляром, но также умел играть на скрипке и корнете и часто сопровождал деревенские праздники. В восемь лет Нильсен начал учиться играть на скрипке, к этому же времени относятся его первые попытки сочинять музыку. В четырнадцать лет он попал в полковой оркестр города Оденсе, где освоил горн и тромбон, не прекращая занятий на скрипке. В оркестре Нильсен прослужил четыре года. В мае 1883 года ему удалось посетить Копенгаген, где он встретился с ведущими датскими музыкантами того времени, в частности, с композитором Нильсом Гаде, который одобрительно отозвался о его сочинениях (фортепианном трио g-moll, струнном квартете d-moll и скрипичной сонате G-dur) и порекомендовал поступить в Королевскую Академию музыки. Нильсен обучался в академии по классу скрипки у Вальдемара Тофте и по теории музыки — у Гаде. Окончив её в 1886 году, Нильсен начал самостоятельный творческий путь.
В 1891 году Нильсен получает место скрипача в оркестре датской Королевской оперы, что даёт ему стабильный заработок. В 1890-е годы Нильсен посещает Германию, Францию, Австрию, где знакомится с музыкой Вагнера и Рихарда Штрауса, встречается с Брамсом, Бузони, художником Эдвардом Мунком и другими крупными деятелями культуры. К этому времени относятся первые крупные сочинения Нильсена: Первая симфония g-moll, кантата «Hymnus Amoris», три струнных квартета, ряд фортепианных сочинений, на первых порах не имевших большого успеха.
Следующий период творчества Нильсена начинается с 1901 года. Он сочиняет свою первую оперу «Саул и Давид» и Вторую симфонию «Четыре темперамента». С начала XX века началась дирижёрская деятельность Нильсена, продолжавшаяся до конца его жизни. В 1906 году он дирижировал на первом представлении своей оперы «Маскарад» (по сюжету комедии драматурга XVIII века Людвига Хольберга).
С начала 1910-х годов имя композитора становится известным в Европе благодаря Третьей симфонии («Sinfonia Espansiva») и скрипичному Концерту. Нильсен получает приглашение на место дирижёра симфонических концертов в Гётеборге, где работал несколько лет. В этот же период он обращается к фольклору и духовной музыке, создаёт ряд обработок народных песен. Вершинами творчества Нильсена этого периода считаются Четвёртая («Неудержимая»; 1916) и Пятая (1922) симфонии, написанные под впечатлением от Первой мировой войны. Пятая симфония — одна из самых новаторских работ композитора, являющаяся переходом к позднему периоду его творчества. С 1916 года Нильсен преподавал в копенгагенской Академии музыки.
Последний период творчества Нильсена охватывает последнее десятилетие его жизни (1921—1931). Среди сочинений этого периода — Квинтет для духовых инструментов, концерты для флейты и кларнета с оркестром, Шестая («Простая») симфония, ряд хоральных и органных произведений. После инфаркта в 1925 году Нильсен вынужден был сократить концертные выступления, тем не менее, не переставая сочинять. В 1925 году композитор написал сборник критических эссе «Живая музыка», в 1927 — автобиографическую книгу «Детство на Фюне».
Нильсен умер в Копенгагене 3 октября 1931 года.
В память о Нильсене назван главный концертный зал в Доме концертов Оденсе — основная концертная площадка Симфонического оркестра Оденсе. С 1980 года в Оденсе проводится Международный конкурс имени Карла Нильсена с участием молодых скрипачей, флейтистов, кларнетистов, органистов из разных стран.
Нильсен — автор более 160 сочинений, среди которых выделяются шесть симфоний (наиболее известны Четвёртая и Пятая). Это главный жанр в творчестве композитора, наиболее полно раскрывающий эстетические позиции Нильсена, его видение мира. От симфонии к симфонии происходит творческая эволюция стиля, выявляются его характерные особенности.
Важное место в творчестве композитора занимает жанр концерта. Написанный в 1911 году концерт для скрипки создан ещё в средний период творчества композитора, под влиянием романтических традиций. Также популярны концерты Нильсена для флейты (1926) и кларнета (1928) с оркестром, входящие в репертуар музыкантов до наших дней.
В Дании широко известны камерные и вокальные сочинения Нильсена.