Яльмар Андерсен родился на острове Рёдёй, у побережья Норвегии. Рос Андерсен в рабочем пригороде Тронхейма.
В 1948 году Андерсен был включен в олимпийскую команду Норвегии для участия в Зимних Олимпийских играх 1948 года в Санкт-Морице. Он стартовал на дистанции 10000 метров. Но, из-за плохого состояния льда он не закончил дистанцию.
С 1950 по 1952 годы Андерсен стал сильнейшим конькобежцем мира. В эти годы он по три раза выигрывал чемпионаты мира и Европы в многоборье. В 1949 и 1954 году он был серебряным призёром чемпионатов Европы в многоборье. В 1950—1952, 1954 Андерсен был чемпионом Норвегии в многоборье. В 1949 и 1956 годах он был бронзовым призёром чемпионатов Норвегии.
В 1952 году на Зимних Олимпийских играх в Осло Андерсен выиграл золотые медали на трёх дистанциях: 1500, 5000 и 10000 метров. После Олимпийских игр в Осло, Андерсен объявил об окончании своей конькобежной карьеры. Но, через два года, в 1954 году, он вновь вышел на дорожку. В 1954 году в Давосе он стал чемпионом Европы на дистанциях 5.000 и 10.000 метров.
На Зимних Олимпийских играх 1956 года в Кортина д'Ампеццо Андерсен занял шестое место на дистанции 10000 метров и одиннадцатое на 5000 метров. За время своей карьера конькобежца Яльмар Андерсен установил четыре мировых рекордов. Он был первым конькобежцем, пробежавшим дистанцию 10000 метров быстрее 17 минут.
Яльмар Андерсен был также очень сильным велогонщиком.
Яльмар Андерсен — четыре раза устанавливал мировые рекорды:
Лучшие результаты Яльмара Андерсена на отдельных дистанциях: