Происходил из неаполитанской линии Анжуйского дома. Карл Роберт был сыном титулярного короля Венгрии Карла Мартелла Анжуйского (1271—1295) и Клеменции Габсбургской (1262—1293). Имел двух сестёр: Беатрису, дофину Вьеннскую и Клеменцию, которая стала королевой Франции.
Получил правление после продолжительной борьбы с двумя претендентами (Вацлавом III Чешским и Оттоном III Баварским), а также внутренней олигархией, возглавляемой Мате Чаком, Петром Петуни и Або Амадеем. Обуздал движение баронов, многократно вёл войны с Венецией, которой вынужден был уступить Далмацию, и с Сербией.
В 1327 году объявил горную регалию королевской прерогативой.
Завоевательный поход против Валахии (1330) не удался, а смуты по престолонаследию в Неаполе поставили короля и Венгрию в тяжёлое положение. Тем не менее, ему удалось добиться для своего сына Андрея руки наследницы неаполитанского престола Джованны I, а для Людовика — объявления его наследником польского короля Казимира (1339).
Карл Роберт был женат трижды: