Ворсаэ родился в семье высокопоставленного датского чиновника. Первоначально изучал право; затем, после смерти отца, решил посвятить себя изучению первобытной истории. Был учеником Кристиана Ю.Томсена. После публикации первых исследований Й. Ворсаэ в 1848 году датский король Фредерик VII, увлекавшийся археологией, назначает его на должность инспектора по древностям. С 1854 года Ворсаэ — профессор, с 1858 — куратор королевского собрания древностей. Ворсаэ в своё время был первым исследователем доисторического периода, получавшим за это жалованье.
В 1850 году Й. Ворсаэ становится членом специальной комиссии датского правительства, занимавшейся исследованием ракушечных пищевых останков в первобытных отложениях и занимался изучением первобытных стоянок человека на территории Дании. Его научные работы доказали, что гигантские курганы на севере Европы являются не местом культа либо принесения в жертву, а гробницами. Учёный ввёл в оборот понятие «эпоха викингов». Ему первому также принадлежит разделение каменного века на палеолит и неолит.