С первого же шага он при жизни своего брата Карломана выказал себя полновластным государем. Первым его противником был герцог Аквитанский Гунальд, наследовавший Ваифру, который думал для восстановления своей независимости воспользоваться благоприятными обстоятельствами при перемене правителей. Хотя брат и отказал Карлу в помощи, он сам за один поход управился с Гунальдом. Раздор, начинавшийся между братьями и грозивший Франкскому государству большими бедствиями, был устранен смертью Карломана в декабре 771 г. Оба его сына были несовершеннолетними, и все светские и духовные вельможи во владениях Карломана признали Карла своим королем. Тем временем со стороны Лангобардского королевства, где в 756 г. умер король Айстульф, уже ожидались серьезные трудности. Айстульфу после распри из-за престола наследовал Дезидерий, герцог Тосканский, и матери Карла, королеве Берте, удалось вступить с ним в родственные связи при помощи устроенного ею брака между Карлом и дочерью Дезидерия. Напрасно папа Стефан III предостерегал против сближения с этим народом — «с вероломным и грязнейшим лангобардским народом, который и причислять-то к народам стыдно», о котором, как выражается озлобленный и ненавидящий лангобардов папа, «достоверно известно, что от него и прокаженные происходят». Тщетно заклинал папа Карла не вступать в этот брак, во имя Страшного суда, во имя всех таинств господних, во имя мощей святого Петра, даже грозил проклятием: король развелся со своей супругой Гимильтрудой и обвенчался с дочерью Дезидерия. Однако, т. к. нравы при дворе франкских королей и в этот период были немногим лучше, чем во времена Меровингов, Карлу наскучила его новая жена, и он отправил ее обратно к отцу, который решил отомстить Карлу. Он признал сыновей Карломана франкскими королями. В римской политике он также решил следовать примеру своего предшественника и двинул большое войско для покорения Рима. Он и слышать не хотел о соглашении, которое предлагал ему новый папа Адриан I, не желавший принимать помощь франкского короля. Однако прибегнуть к ней пришлось. Карл собрал войско и двинулся в Италию через Мон-Сени. Часть войска вел его дядя Бернард другим путем, через перевал Мон-Жови, который с той поры получил название Сен-Бернар. Тут выяснилось, как мало внутренней связи было в лангобардском государстве и как незначительна была власть их короля. Дезидерий даже не решился принять битву в открытом поле — он поспешил укрыться в сильно укрепленную Павию. Там он выдержал долгую осаду, без надежды на какое бы то ни было избавление. Его сыну Адельхизу, некоторое время державшемуся в Вероне, удалось уйти оттуда и пробраться в Константинополь, где он был принят при дворе и мог безопасно ожидать наступления более благоприятного времени. Для Дезидерия же, когда он, наконец, вынужден был сдаться Карлу, не оставалось выбора: он был пострижен в монахи и отправлен в монастырь Корби (в нынешнем департаменте Соммы) в 774 г. После этой победы Карл присвоил себе титул короля франкского и лангобардского, а также все внешние регалии лангобардских королей. Карл, конечно, поступил чрезвычайно умно, предоставив побежденным лангобардам пользоваться некоторой самостоятельностью или тенью самостоятельности, хотя принял титул их короля. Это было необходимо по отношению к непокоренным еще вождям лангобардского народа — герцогам Фриульскому, Сполетскому и Беневентскому, последний из которых, Арихиз, зять Дезидерия, вместе с Адельхизом еще долго противился Карлу; только в 787 г. он был окончательно побежден и вынужден стать данником Карла. Коронные владения лангобардских королей, по праву перешедшие во власть Карла, он заселил более надежными, преданными ему франками и аламаннами. Затем при первой возможности Карл передал всю страну лангобардов, по франкскому образцу, в управление графов, правителей, назначаемых королем, а сам обратился к другим делам.