Карломан был старшим сыном Людовика II Немецкого, короля Восточно-Франкского королевства, (Германии) и Эммы Баварской, дочери Вельфа I, графа Альтдорфа. В 861 году Карломан поднял восстание против своего отца, а в 863 году к новому мятежу Карломана присоединились и его младшие братья Людовик III Младший и Карл III Толстый. В 865 году Людовик Немецкий был вынужден уступить Баварию Карломану, а в следующем году он передал Саксонию Людовику Младшему, а Швабию Карлу Толстому. Позднее Карломан примирился со своим отцом, и они вместе боролись за имперскую корону с императором Людовиком II, правда неудачно.
После смерти отца в 876 году Германия была разделена между Карломаном и его братьями. В 877 году умер король Западно-Франкского королевства и император Запада Карл II Лысый , что позволило сыновьям Людовика Немецкого предъявить претензии на его наследство. Карломан получил корону Италии, а его младший брат Карл III Толстый стал императором. Но уже в 879 году Карломана разбил паралич, и, предчувствуя смерть, он решил разделить свои владения. Людовик Младший получил Баварию, а Карл Толстый — Италию. Карломан не состоял в браке и не имел законных детей, однако от некой Лиутсвинды у него был незаконнорождённый сын Арнульф, которому он завещал Каринтию. Карломан скончался 22 сентября 880 года в Альтёттинге, погребён в монастырской церкви.