Биограф Карла Эйнхард сообщает, что оказался не в состоянии достать сведения о рождении и детстве Карла, но в другом месте замечает, что он скончался на 72-ом году жизни, то есть родиться он должен был в 742 году. В несохранившейся ахенской эпитафии было сказано, что Карл умер на 70-ом году жизни, то есть он родился в 744 году. В раннесредневековых «Анналах Петау» под 747-м годом сказано: «В этом году родился король Карл». В ней же под 751-м годом сказано о рождении младшего брата Карла Карломана, и эта дата сомнению не подвергается.
Место рождения Карла точно неизвестно. Возможно, это произошло в окрестностях Ахена, в Юпиль-сюр-Маасе, Ингельхайме или Кьерси, но и многие другие города делают на то притязания, не подкрепляемые, однако, достаточными свидетельствами.
28 июля 754 года Карл вместе с братом Карломаном был помазан на царство в церкви аббатства Сен-Дени папой Стефаном II, а после смерти Пипина вступил вместе с братом на престол. По разделу с братом отцовского наследства, Карл получил во владение земли в форме обширного полумесяца, идущего от Атлантической Аквитании до Тюрингии, через большую часть Нейстрии и Австразии, через Фризию и Франконию и со всех сторон охватывающие владения брата Карломана. Резиденцией Карла был Нуайон. Братья не ладили между собой, несмотря на отчаянные старания их матери, Бертрады, сблизить их, вопреки всем и всему. Согласие между ними сохранялось с величайшим трудом, ибо многие из окружения Карломана старались рассорить братьев, и даже довести дело до войны. Когда в 769 году один из сеньоров с юго-запада по имени Гунольд (возможно, это был сын Вайфара) поднял на восстание западных аквитанцев и гасконских басков, Карл был вынужден один отправиться на подавление мятежа, так как Карломан отказался присоединиться к нему со своим войском. Но, несмотря на это, Карл решительно продолжал задуманный поход и своим упорством и твердостью добился всего, чего желал. Он принудил Гунольда бежать в Гасконь. Не оставляя его там в покое, Карл перешёл реку Гаронну и добился у герцога Лупа Гасконского выдачи беглеца.
Опасаясь сговора между Карломаном и королём лангобардов Дезидерием, Карл решил опередить события. Он не только сблизился со своим кузеном герцогом Баварии Тассилоном, который, храня верность традициям своего рода, стал зятем лангобардского короля, но и сам в 770 году, по совету матери Бертрады женился на дочери Дезидерия Дезидерате, отставив на второй план свою законную жену Гимильтруду (которая уже успела родить ему сына Пипина). Конфликт мог разгореться нешуточный, если бы Карломан не умер, причём очень своевременно, в декабре 771 года. Карл привлёк на свою сторону некоторых наиболее близких Карломану деятелей и захватил наследство брата. Его невестка Герберга и племянник Пипин, родившийся в 770 году, нашли убежище у Дезидерия.
По свидетельству биографа Карла Эйнхарда, Карл «обладал могучим и крепким телом, высоким ростом, однако не превосходил положенного, ибо известно, что был он семи его собственных ступеней в высоту». Его лицо отличал длинный нос и большие, живые глаза. У него были светлые волосы. Если судить по изображениям Карла на монетах, печатях и миниатюрах IX в., а также бронзовой статуэтке из собора в Меце, он по тогдашней франкской моде носил короткую причёску, брил бороду и имел длинные усы. Голос Карла был необычно высоким для такого внушительного мужчины. С годами король начал страдать от хромоты. Прижизненных портретов Карла не сохранилось, и многие позднейшие художники изображали его согласно своей фантазии, чаще всего в виде почтенного старца с длинными седыми волосами и бородой. Хотя многие принимали описание богатырского телосложения Карла за эпическое преувеличение, эксгумация могилы Карла подтвердила правильность описания: длина скелета составила 192 см.
«Король был очень прост и умерен в своих привычках. В обычные дни наряд его мало отличался от одежды простолюдина. Вина он пил мало и ненавидел пьянство. Обед его в будни состоял всего из четырёх блюд, не считая жаркого, которое сами охотники подавали прямо на вертелах, и которое Карл предпочитал всякому другому яству. Во время еды он слушал музыку или чтение. Его занимали подвиги древних, а также сочинение святого Августина «О граде Божием». После обеда в летнее время он съедал несколько яблок и выпивал ещё один кубок; потом, раздевшись донага, отдыхал два или три часа. Ночью же он спал неспокойно: четыре-пять раз просыпался и даже вставал с постели. Во время утреннего одевания Карл принимал друзей, а также, если было срочное дело, которое без него затруднялись решить, выслушивал тяжущиеся стороны и выносил приговор. В это же время он отдавал распоряжения своим слугам и министрам на весь день. Был он красноречив и с такой легкостью выражал свои мысли, что мог сойти за ритора. Не ограничиваясь родной речью, Карл много трудился над иностранными языками и, между прочим, овладел латынью настолько, что мог изъясняться на ней, как на родном языке; по-гречески более понимал, нежели говорил. Прилежно занимаясь различными науками, он высоко ценил учёных, выказывая им большое уважение. Он сам обучался грамматике, риторике, диалектике и в особенности астрономии, благодаря чему мог искусно вычислять церковные праздники и наблюдать за движением звезд. Пытался он также писать и с этой целью постоянно держал под подушкой дощечки для письма, дабы в свободное время приучать руку выводить буквы, но труд его, слишком поздно начатый, имел мало успеха. Церковь он во все годы глубоко почитал и свято соблюдал все обряды».
Вскоре после смерти брата Карл начал войну с саксами. Это была самая продолжительная и ожесточенная война в его царствование. С перерывами, прекращаясь и возобновляясь вновь, она продолжалась тридцать три года, до 804 г., и стоила франкам наибольших потерь, так как саксы, подобно всем народам Германии, были свирепы и преданы своим культам. Граница с ними почти везде проходила по голой равнине, и поэтому была неопределённой. Ежедневно здесь происходили убийства, грабежи и пожары. Раздражённые этим франки, в конце концов, на сейме в Вормсе сочли необходимым начать против соседей войну. В 772 г. Карл в первый раз вторгся в Саксонию, разрушил крепость Эресбург и низверг языческую святыню — идола Ирминсула. Но Карл понимал, что прочного умиротворения не будет, пока за пределами королевства существует независимая Саксония, а точнее независимые саксы, так как этот народ делился на западных (вестфальских), центральных (анграрийских), восточных (остфальских) и северных (нордальбингенских) саксов.
Затем Карл был отвлечен итальянскими делами. В 771 г. Карл развёлся со своей женой, дочерью лангобардского короля Дезидератой, отправил её к отцу и женился на внучке герцога алеманнов Готфрида, Хильдегарде (Гильдегарде). В 772 г. у Карла родился сын от Хильдегарды, получивший тоже имя Карл. Дезидерий не замедлил принять вызов. С первых же дней 772 г. он потребовал от папы Адриана I помазания на царство сына Карломана Пипина и возобновил начатое его предшественниками наступление на Папскую область. Папа обратился за помощью к Карлу. В сентябре 773 г. сильная франкская армия направилась к Альпам. Лангобарды закрыли и укрепили перевалы. Карл решился на обходной маневр. По тайным тропинкам бесстрашный франкский отряд пробрался к врагу с тыла и одним своим появлением произвёл общее замешательство в лангобардском войске и бегство сына короля Дезидерия, Адельхиза. Есть указание, что папа успел посеять измену, как в войске короля лангобардов, так и в его владениях, что именно это обстоятельство и было причиной весьма слабого сопротивления. Опасаясь окружения, Дезидерий покинул перевалы и отступил к своей столице Павии, рассчитывая отсидеться за её толстыми стенами, его сын с вдовой и детьми Карломана укрылся в Вероне. Франки с боем преследовали врага, по пути овладев многочисленными городами Ломбардии. Оставив часть сил под Павией, Карл с остальным войском подступил в феврале 774 г. к Вероне. После короткой осады город сдался. В нём Карл захватил племянников, которыми так пугал его Дезидерий, и их мать.
В апреле 774 года франки подошли к Риму. Папа Адриан I устроил Карлу торжественную встречу. Карл отнёсся к первосвященнику с величайшим почтением: прежде чем подойти к руке Адриана, он поцеловал ступени лестницы храма Святого Петра. Ко многим городам, подаренным папе его отцом, он обещал прибавить новые дарения (это обещание потом не было выполнено). В начале июня, не выдержав тягот осады, Дезидерий вышел из Павии и подчинился победителю. Карл завладел столицей лангобардов и королевским дворцом. Так пало королевство лангобардов, последний король их отведён был пленником во Франкское государство, где его заставили постричься в монахи, а сын его бежал к византийскому императору. Приняв титул лангобардского короля, Карл начал вводить в Италии франкское устройство и соединил Галлию и Италию в одно государство.
В 776 году Карл должен был снова прибыть в Италию для усмирения восстания. Получив послание папы Адриана I о том, что герцоги Арехис II Беневентский, Гильдепранд Сполетский и Ротгауд Фриульский вступили в союз с византийцами и намереваются возвести на трон Адельхиза, сына свергнутого Дезидерия, правитель франков быстро собрал войско и двинулся в Италию. Однако, обвинения папы в мятеже подтвердились лишь в отношении герцога Фриуля, который, не сумев оказать королю серьёзного сопротивления, погиб в одном из первых же боёв. Уже вскоре восстание лангобардской знати было подавлено, а многие мятежники, лишившиеся земель и имущества, были переселены в другие области Франкского государства.
В 775 г. во главе большой армии Карл углубился на территорию саксов больше обычного, достиг земли остфалов и дошёл до реки Оккер, взял заложников и оставил сильные гарнизоны в Эресбурге и Сигибурге. Следующей весной под ответным натиском саксов Эресбург пал. После этого Карл изменил тактику, решив создать «укрепленный рубеж» (марку), который должен был предохранять франков от вторжений саксов. В 776 г. он, вновь укрепив Эресбург и Сигибург, построил новую крепость Карлсбург и оставил в пограничной зоне священников для обращения язычников-саксов в христианскую веру, которое вначале шло довольно успешно. В 777 г. саксы опять были разбиты, и тогда большинство саксонских этелингов (племенная знать) признало Карла своим повелителем, на собрании в Падерборне.
В 777 году Карл принял мусульманского губернатора Сарагосы, прибывшего просить его о помощи в борьбе против эмира Кордовы Абд ар-Рахмана. Карл согласился, но в 778 г. оказавшись в Испании во главе огромной армии, он потерпел неудачу под Сарагосой, где его предали вчерашние союзники. На обратном пути, в Ронсевале, когда войско двигалось растянутым строем, как к тому вынуждали горные теснины, баски устроили засаду на вершинах скал и напали сверху на отряд, прикрывавший обоз, перебив всех до последнего человека. Рядом с командующим отрядом Роландом, пали сенешаль Эггихард и граф двора Ансельм. Это сражение, которое произошло 15 августа 778 г., называется Ронсевальским. Эйнхард не дает этого названия, однако, подчеркивает, что только арьергард обоза франков и те, кто шёл в самом конце отряда были разбиты. В оригинальной версии Анналов королевства франков, составленной в 788—793 годах, в событиях, относящихся к 778 году, вообще нет упоминаний об этом сражении. Сказано лишь то, что «после того как были переданы заложники от Ибн-Аль-Араби, Абутария и многих сарацинов, после разрушения Памплоны, покорения басков и наварров, Карл вернулся на территорию Франкии». В исправленной версии Анналов, составленной вскоре после смерти Карла, также нет упоминания об этой битве. Но имеется новый важный пассаж: «Возвращаясь [Карл] решил пройти через ущелье Пиренейских гор. Баски, устроив засаду на самом верху того ущелья, привели в большое смятение всё войско [Карла]. И хотя франки превосходили басков, как оружием, так и храбростью, однако превосходство то было побеждено благодаря неровности места и невозможности для франков вести сражение. В той битве многие из приближенных, которых король поставил во главе своего войска, были убиты, обоз был разграблен; враг же, благодаря знанию местности, тотчас рассеялся в разные стороны». Эйнхард же в своей работе (это третье описание Ронсевальской битвы) делает два основных изменения. Он заменяет «всё войско» из переписанной версии Анналов франкского королевства на «тех, кто шёл в самом конце отряда» и перечисляет только трёх из знатных франков, которые пали в битве (Эггихард, Ансельм и Руотланд, то есть Роланд (префект бретонской марки) герой знаменитого французского эпоса «Песни о Роланде».). Точная дата сражения — 15 августа — известна благодаря эпитафии Эггихарду, стольнику Карла — «она произошла в восемнадцатый день сентябрьских календ». Спустя двадцать лет при описании тех же событий неизвестный переписчик Анналов вставляет такое сообщение, о котором в ранних текстах нет никакого упоминания. По-видимому, привлечение внимания к этому событию было для него важным. Скорее всего, все подробности взяты им из более поздних текстов. Он говорит, что в бой вступило все франкское войско и утверждает, что было убито множество франкских предводителей. Это была настоящая катастрофа. Поражение повергло в панику готских христиан в Испании, среди которых франкское вторжение породило большие надежды, и многие из них укрылись от исламского господства во Франкском государстве.
По возвращении Карла ждали и другие неприятности: саксы-вестфалы, объединившись вокруг Видукинда, который в 777 г. не явился в Падерборн, а бежал к датскому королю Зигфриду (Сигифриду), забыли свои клятвы и показное обращение и снова начали войну. В 778 г. перейдя границу у Рейна, они поднялись по правому берегу этой реки до Кобленца, всё выжигая и грабя на своём пути, а затем, нагруженные богатой добычей, по