Первый научный труд опубликовал в 16-летнем возрасте, это была статья о диалекте шведской провинции Даларна. В 1907—1909 гг. обучался в университете Упсалы, где специализировался по русскому языку, заинтересовался сравнительным языкознанием. Решив избрать предметом своей деятельности почти неизученный тогда китайский язык, перевёлся в Санкт-Петербург, изучал китайский язык у А. И. Иванова (китайский язык не преподавался в Швеции). В 1910—1912 гг. жил в Китае, где подготовил описание 24 провинциальных диалектов.
В 1912 г. он переехал в Париж, позднее в Лондон, но окончательно решил работать в Упсале. В 1915 г. он защитил докторскую диссертацию (на французском языке), но все свои научные труды писал по-английски. В 1939 г. сменил Йохана Андерссона на посту директора Музея дальневосточных древностей (?stasiatiska Museet) в Стокгольме, которым заведовал до 1959 г. С 1929 по 1970 г. был главным редактором научного журнала Bulletin of the Museum of Far Eastern Antiquities (BMFEA). Почти все его труды были изданы в этом журнале, или книжной серии музея.
Карлгрен был первым учёным, использующим методы сравнительно-исторического языкознания применительно к китайскому языку. Это позволило ему впервые предложить реконструкцию фонетики древне- и среднекитайского языков. Впрочем, Карлгрен сильно зависел от традиционной китайской филологии, и ныне его работы, оставаясь классикой, уже не столь востребованы научным сообществом, ввиду того, что он увлекался фонетикой в ущерб фонологии.
Кроме того, он написал множество научно-популярных работ на шведском языке, посвящённых истории и культуре Китая, а также три романа под псевдонимом Klas Gullman.