Виллумсен родился в Копенгагене в 1863 году и учился в Королевской Академии Художеств с 1881 по 1885 год. С 1879 по 1882 год он также прослушал курс архитектуры в Технической Школе Копенгагена. Его руковолителем в Академии Художеств был известный художник Педер Северин Крёйер. После окончания Академии писал натуралистические композиции в стиле Жана-Франсуа Рафаэлли.
В 1888 года Виллумсен под влиянием впечатлений от выставки современной французской живописи в Копенгагене переехал в Париж, где жил до 1890 года, затем отправился в путешествии по Франции и Испании. В 1890 году в Бретани Виллумсен познакомился с Полем Гогеном, общение с которым оказало существенное влияние на эстетические принципы художника. Он перешёл к стилю, близкому школе Понт-Авена, в этот период написал много автопортретов, занимался керамикой. Через Поля Серюзье Виллумсен сблизился с группой наби, и Феликс Валлотон также оказал большое влияние на его творчество. Испытал также влияние Одилона Редона.
В 1892 году художник путешествовал по Норвегии, а в 1893 году принял участие во Всемирной выставке в Чикаго. Вместе с Вильгельмом Хаммершёем и другими датскими художниками в 1891 году основал художественное объединение Den Frie Udstilling. Снова жил в Париже в 1894—1895 годах. С 1897 по 1900 год Виллумсен работал в качестве художественного директора фарфоровой фабрики Bing & Gr?ndhal в Копенгагене. После 1916 года поселился в Южной Франции и приезжал в Данию лишь эпизодически. Много путешествовал, в том числе посетил Тунис, Италию, Швейцарию и Испанию.
В 1910-е годы художник перешёл к новой манере письма, связанной с усилением цвета и близкой к экспрессионизму. Во время пребывания в Испании в начале 1910-х годов Виллумсен познакомился с творчеством Эль Греко, о котором даже впоследствии написал книгу (опубликована во Франции в 1927 году).
В 1951 году в Виллумсене был снят документальный фильм, режиссёр - Йорген Росс.
В 1957 году в городе Фредериксунд открылся музей Йенса Фердинанда Виллумсена, в котором хранятся работы, переданные художником муниципалитету этого города. В настоящее время в музее хранятся около пяти тысяч работ Виллумсена и около двух тысяч - других авторов.
В 2006 году большая ретроспективная выставка Йенса Фердинанда Виллумсена прошла в музее Орсе.