Родился в селе Проти (греч.-?????), северной Греции. Отец — Георгиос Караманлис, участник македонской войны (северная область Греции-Македония, воевала против болгарских партизан и турецкой регулярной армии) в 1904—1908 гг.
В 1929 г. окончил юридический факультет Национального университета Афин. С 1932 г. работал адвокатом в городе Серес, неподалёку от своего родного села. В 1935, там же, был избран депутатом от Народной партии в возрасте 28-ми лет, являясь самым молодым местным политиком. Последний раз был избран в 1939 — последние выборы перед второй мировой войной.
В 1941—1944 гг. занимался адвокатской практикой в Афинах.
В 1946 г. вновь избран в парламент.
В 1946—1947 гг. — министр труда,
в 1948 г. — министр транспорта,
в 1948—1950 гг. — министр по социальным вопросам,
в 1950 г. — министр обороны,
в 1952—1955 гг. — министр общественных работ Греции.
В 1955—1963 гг. — премьер-министр Греции (с небольшими перерывами). На этом посту активно модернизировал национальную экономику, заключил соглашение об ассоциированном членстве страны в ЕЭС. Рост ВВП составлял в среднем 6,25 % в год. В 1963 г. вступил в конфликт с королем Павлом I по вопросу руководства вооруженными силами, ушел в отставку. Проиграв выборы 1963 г., эмигрировал во Францию.
В 1959—1960 гг. оказался в центре скандала, связанного с интервью Макса Мертена, бывшего военного адвоката немецкого контингента, размещенного во время Второй мировой войны в Салониках. В 1959 г., несмотря на возмущение немки по происхождению королевы Фредерики, Мертен был выдан по запросу западногерманских властей и предстал перед судом ФРГ. В конечном счете он был оправдан вследствие недостаточности доказательств. Однако западногерманская пресса опубликовала выдержки из показаний Мертена, в которых он сообщал о пособничестве Караманлиса и тогдашнего министра внутренних дел Такоса Макриса немецким оккупационным властям, а также указывал, что за свои услуги они были вознаграждены имуществом греческого еврея, отправленного в концентрационный лагерь Аушвиц. В ответ Караманлис назвал обвинения со стороны Мертена абсурдными и обвинил его в попытке шантажа. Греческим судом свидетельства Мертена были признаны клеветническими.
Во время диктатуры «чёрных полковников» находился в изгнании. После провала попытки оккупации Кипра в стране возник политический кризис — хунта утратила доверие народа. В связи с этим в 1974 г. состоялось совещание старейших греческих политиков, которое привело к упразднению диктатуры. Совещание призвало Караманлиса вернуться из изгнания и занять должность премьер-министра правительства национального единства. В тот же год он создаёт партию «Новая Демократия».
В 1974—1980 гг. — премьер-министр Греции. За время пребывания на этом посту сумел добиться перехода от диктатуры к демократии, этот процесс получил название «политический поворот» (по-гречески ????????????? «Metapolitefsi»). Добился серьёзного подъема экономики страны, результатом которого стало решение ЕЭС 1979 г. о приеме Греции в организацию с 1981 г. В сфере международной политики проводил курс на сотрудничество со всеми странами, расширил взаимодействие с арабскими государствами и участницами СЭВ.
В 1980—1985 и в 1990—1995 гг. — президент Греции.
Его племянник Костас Караманлис занимал пост премьер-министра Греции в 2004—2009 гг.