Сводный брат Карломана и Пипина Короткого Грифон (Грифо), недовольный разделом королевства и подстрекаемый советами своей матери Сванагильды (Суннихильды), занял город Лаудун (ныне Лан). Братья собрали войско и, осадив Лаудун, принудили Грифона к сдаче (конец 741 г.). Карломан взял его с собой и приказал держать в «Новом замке», находящемся вблизи Арденн, где тот и находился под стражей до самого того времени, когда Карломан отправился в Рим, чтобы стать монахом. Однако судьба Грифона вызвала недовольство среди аристократии. Хозяева некоторых окраинных герцогств, понимая всю слабость законодательных основ власти этих двух майордомов без короля, не могли смириться с таким положением дел. Баварский герцог Одилон (Одило), из рода Агилольфингов, женившийся против воли Карломана и Пипина на их сестре Хильтруде (Гильтруде), вступил в союз с герцогом алеманнов Теодобальдом и аквитанцем Гунольдом (Хуноальд), сыном герцога Эвдона.
Майордомы решили действовать и в политической и в военной областях. Они вознамеривались подкрепить свой авторитет и придать ему большую законность, разыскав в монастыре Сен-Бертен всеми забытого сына Хильперика II и провозгласив его в 743 г. королём под именем Хильдерика III. В военной области братья предприняли с 742 по 745 гг. ряд походов. В 742 г. Карломан и Пипин объединили свои армии, перешли Луару в городе Орлеане и вступили с войском в Аквитанию. Одолев галло-римлян, они достигли Буржа, окрестности которого они предали огню; герцог Гунольд (Хуноальд) бежал, франки преследовали его, опустошая все местности, через которые проходили. Затем они взяли крепость Лошез (Луккас) (ныне Лош (Индре-э-Луар), в области Тура, за Луарой)и разрушили её до основания, гарнизон был взят в плен. В местечке, называемом Старый Пиктавис, на реке Кленне, близ её слияния с рекой Вьеннь, они разделили между собой королевство, которым до того времени управляли сообща. Карломан получил в управление Австразию и зарейнскую Германию, т. е. Швабию (также известную как Алеманния) и Тюрингии.
В том же 742 году, по возвращении домой, осенью Карломан и Пипин вторглись с войском в Алеманнию, которая отложилась от союза франков, и опустошили её огнём и мечом, достигнув Дуная. Алеманны дали заложников, выплатили дань и, добившись некоторого смягчения условий подчинения, обещали соблюдать законы своих завоевателей и приняли франкское господство.
В 743 г. Карломан и Пипин пошли соединенными силами на Одилона, герцога баварцев, своего шурина. Достигнув реки Лех, обе армии разбили лагерь на её берегах и в течение целых двух недель следили друг за другом. Наконец, франки, пройдя по непроходимым болотам, окружили армию Одилона и внезапно напав ночью на ничего не подозревавших баварцев, частью перебили, а частью утопили в болоте. Одилон с горстью людей, с трудом улизнул за реку Инн.
Возвратившись оттуда, Карломан в 744 г. отправился один в Саксонию и, овладев крепостью, называемой Hohseoburg (ныне Seeburg в графстве Мансфельд, на юго-запад от Галле), взял при этом в плен Теодориха-саксонца, правителя того места. В 744 г. братья, Карломан и Пипин, соединенными силами напали на Саксонию и вторично взяли в плен вышепоименованного Теодориха. В 745 г. аквитанский герцог Гунольд окончательно отказался от борьбы, и удалился в монастырь на острове Ре, успев передать свой принципат сыну Ваифру. Что касается алеманнов, их неоднократные восстания были потоплены в крови Карломаном в Каннштадте (Вюртемберг), на Неккаре в 746 г. Их герцогство было включено непосредственно в королевство и разбито на два графства отданных под управление верным франкам.
Именно Карломан, в большей степени, чем Пипин, стал инициатором реформы франкской церкви, проведённой им в тесном взаимодействии с англосаксонцем Бонифацием. Карломан созвал в Лестине, около Шарлеруа, в апреле 743 г. совещание, получившее название «Германского собора». Этот собор восстановил церковную иерархию, с епископам в каждом городе, митрополитом в каждой провинции, и признал Бонифация, возведённого в сан архиепископа, легатом Святого Петра; постановил ежегодное проведение соборов, для обеспечения дисциплины среди духовенства и возрождения христианской религии; возвратил церкви ранее отобранное имущество; упорядочил отношение светской власти к церковному землевладению, потрясённому мерами Карла Мартелла, и определил, на каких условиях и при каких обстоятельствах церковные земли могут поступать в прекарию светским лицам.
В 747 г., после 15 августа, оставив мирские заботы и своих близких, Карломан отправился сначала в Рим, к папе Захарию, который принял его со всеми почестями. В Риме Карломан построил монастырь Св. Сильвестра (на Монте-Оресте). Затем Карломан отправился в ломбардское аббатство у горы Соракт. Прожив здесь некоторое время, Карломан переселился в знаменитый монастырь Св. Бенедикта в Монте-Кассино и там постригся в монахи.
Пипин тут же показал, что он намерен править единолично. Он стал опекуном сына Карломана Драгона и сразу же лишил его отцовских земель. В 753 г., когда папа Стефан II обратился к Пипину с просьбой защитить его от лангобардов, Карломан — вероятно, по внушению аббата своего монастыря, на которого, в свою очередь влиял лангобардский король Айстульф — явился к брату в город Керси, чтобы противодействовать просьбам папы. Миссия эта не удалась. Пипин отправился в Италию на помощь папе, а Карломан остался в Вьенне, с королевой Бертрадой, где он ещё до возвращения Пипина из Италии, схватил лихорадку и умер в 754 г. Но точная дата его смерти подвергается спору, согласно некоторым источникам он умер 17 августа 754 или 755 г., согласно другим, это было 4 декабря 754 г. Тело его, по приказанию Пипина, было перенесено в монастырь Св. Бенедикта в Монте-Кассино, где он принял монашество.