Когда Харальд Нильсен был маленьким, он не увлекался футболом. Но на 6-й день рождения Харальда, его отец подарил ему бутсы. С 10-ти лет Харальд начал играть в футбол. Нильсен играл в футбол на любительском уровне, одновременно с этим он работал помощником инженера на заводе Alpha-Diesel.
В 1957 году Нильсен пришёл на просмотр в молодёжный состав клуба «Фредериксхавн», и в первой же игре забил гол. В 1958 году Нильсен дебютировал в составе молодёжной сборной Дании. А в 17-ти лет он начал выступать за основной состав «Фредериксхавна», дебютировав 15 марта 1959 года, в том сезоне эта игра стала для Нильсена единственной. В первом матче следующего чемпионата, Нильсен забил 4 гола, а его клуб победил 5:4 «Ольборг». Через несколько недель, 13 сентября 1959 года, Нильсен дебютировал за сборную Дании в матче против Норвегии в Осло, где забил гол, став на тот момент, самым молодым игроком в истории национальной команды (17 лет и 322 дня). В 1960 году Нильсен дебютировал в высшей лиге чемпионата Дании с клубом «Фрем», в котором Харальд забил все 3 гола. А затем он, впервые сыгравший в высшем дивизионе чемпионата Дании, продолжал забивать и стал лучшим бомбардиром первенства, забив 19 мячей, а его клуб занял 5-е место. В том же году Нильсен, в составе сборной, поехал на Олимпиаду в Рим, где занял с командой второе место. Сам Нильсен с 6-ю мячами в 5-ти играх стал вторым бомбардиром турнира и получил прозвище «Золотой Харальд». В следующем году Нильсен стал лучшим футболистом Дании. Последний матч в Дании Нильсен провёл 24 апреля 1961 года против «Оденсе»; его клуб выиграл со счётом 2:1, оба мяча забил Нильсен.
Летом 1961 года, в возрасте 19-ти лет, Нильсен перешёл в итальянский клуб «Болонья», заплативший за трансфер игрока 200 тыс. крон. После перехода Нильсен был вынужден перестать выступать за сборную команду, правила которой запрещали выступать в ней игрокам из других чемпионатов. Нильсен дебютировал в составе «Болоньи» 27 августа 1961 года в матче с «Палермо», который Болонья выиграла 2:1. За первый сезон в Италии, Нильсен забил 8 голов в 16-ти играх чемпионата. А в следующем сезоне забил 19 раз, став лучшим снайпером турнира. Через год Нильсен во второй раз стал лучшим бомбардиром чемпионата, чем помог клубу выиграть серию А, впервые за 23 года. После первых трёх удачных сезонов в Италии, результативность Нильсена начала медленно падать.
В 1967 году Нильсен перешёл в клуб «Интер» Милан, заплативший за трансфер датчанина 2,5 млн долларов. Покупка Нильсена миланским клубом обуславливалась тем, что главный тренер «нерадзурри», Эленио Эррера, опасался перехода Нильсена в «Ювентус», который также вёл с ним переговоры. Однако в «Интере» Нильсен не смог завоевать место в основном составе, чему мешали травмы и лишний вес датчанина, в результате он за «Интер» провёл лишь 8 матчей. В 1968 году он перешёл в «Наполи», где также редко выходил на поле. Нильсен завершил карьеру в 1970 году в клубе «Сампдория».
После завершения карьеры игрока, Нильсен открыл фирму, котоаря занималась импортом итальянской кожи в Скандинавию. В 1970 годах Нильсен, вместе с политиком Хельге Сандером, стал продвигать идею профессионального футбола в Дании, и в 1977 году они создали Профессиональную футбольную датскую ассоциацию, ставшую альтернативной футбольной лигой страны. Их инициатива не увенчалась успехом, но вызвала бурные дебаты, в результате в 1978 году была открыта профессиональной датской футбольной лиги, заменившая любительскую, существовавшую до неё. В 1992 году Нильсен стал первым менеджером нового клуба «Копенгаген», и занимал этот пост до 1997 года.
Нильсен женат, супруга — актриса Руди Хансен, с которой познакомился на съёмках фильма Far til fire med fuld musik. Благодаря жене футболист снялся ещё в нескольких фильмах. У них 4-ро детей.