Карлберг трижды участвовал в летних Олимпийских играх. На первых из них в 1908 году в Лондоне он соревновался в стрельбе из пистолета и из малокалиберной винтовке. Он стал серебряным призёром в командном винтовочном соревновании вместе со своим братом-близнецом Эриком Карлбергом.
На следующих летних Олимпийских играх 1912 в Стокгольме Карлберг стал двукратным чемпионом в стрельбе из малокалиберной винтовки по исчезающей мишени как среди команд, так и отдельных спортсменов, чемпионом в командной стрельбе из дуэльного пистолета и дважды стал серебряным призёров в командных соревнованиях по стрельбе из произвольного пистолета и из малокалиберной винтовки лёжа.
Через год Карлберг участвовал в чемпионате мира в Кэмп-Перри, США. В стрельбе из пистолета на 50 метров он стал чемпионом среди отдельных спортсменов и бронзовым призёром среди команд.
В последний раз Карлберг участвовал в Олимпийских играх в 1924 году в Париже. Он стал серебряным призёров в скоростной стрельбе из пистолета на 25 метров.