Каройи происходил из богатой католической аристократической семьи, игравшей большую роль в венгерской истории начиная с XVII века. В юности ведя себя легкомысленно, он затем решил заняться политикой. В 1909 он был избран председателем Национального сельскохозяйственного общества, основной организацией помещичьего дворянства. Первоначально одобряя существовавший строй Австро-Венгрии, он со временем склонялся в своих взглядах к более левым позициям. В 1910 Каройи был избран в парламент от оппозиционной Партии независимости. После начала Первой мировой войны Каройи первоначально поддержал её, но вскоре стал самым решительным её критиком из числа аристократов. 7 ноября 1914 Каройи женился в Будапеште на графине Каталин Андраши де Чик-Сент-Кирай-Красна-Горка и имел троих детей. Аристократическое происхождение жены обеспечило Каройи поддержку самых знатных фамилий Венгрии. После того, как в 1916 Партия независимости сочла взгляды Каройи слишком радикальными, он вышел из партии и основал собственную — Объединённую партию независимости и 1848 года, известную как Партия Каройи. Партия Каройи не имела массовых организаций и оставалась не слишком влиятельной политической силой, имея всего 20 депутатов в парламенте, большинство из которых не были привержены партийной идеологии. Программа партии включала требования немедленного выхода из войны, ослабления связей между Австрией и Венгрией, отмены имущественных и языковых ограничений, которые давали право голоса всего лишь 5.8 % мужского населения страны, предоставления политических прав женщинам. Требование Каройи в 1915 предоставить право голоса ветеранам имело широкую поддержку населения и сильно расстроило отношения между ним и премьер-министром страны графом Иштваном Тисой. Каройи вёл в Швейцарии переговоры с представителями Великобритании и Франции. В январе 1918 он заявил о поддержке Четырнадцати пунктов Вудро Вильсона.
После начала распада Австро-Венгрии и провозглашения венгерским парламентом независимости страны 17 октября 1918 года Каройи стал одним из лидеров страны. 25 октября он сформировал Национальный совет, оппозиционный к правительству. 31 октября король Венгрии Карой IV (император Австро-Венгрии Карл I), надеясь спасти монархию, поручил Каройи сформировать новое правительство, и 1 ноября последний вступил в должность. Другой причиной назначения Каройи была надежда, что он сможет добиться более мягких условий мира с Антантой. Каройи считал необходимым сохранение монархии и определённых связей с Австрией, и только после того, как Карл сложил с себя полномочия короля Венгрии, провозгласил 16 ноября 1918 Венгерскую Демократическую Республику, став её временным президентом.
После её провозглашения Каройи управлял страной вместе со своим Национальным советом, образовавшем правительство в составе представителей партии Каройи, социал-демократов и Гражданской радикальной партии. В то же время были образованы многочисленные Советы, контролируемые социал-демократами и фактически имевшие значительную власть. Советы, однако, не вступали в конфликт с правительством Каройи. 11 января 1919 Национальный совет официально утвердил Каройи президентом Венгрии. После этого он сложил с себя полномочия премьер-министра в пользу Денеша Беринкеи.
На посту премьер-министра Каройи предпринимал решительные усилия по сохранению Венгрии, надеясь сохранить народы Венгрии в её составе, учредив федерацию по образцу Швейцарии. Однако население невенгерских регионов приветствовало своё объединение с Чехословакией, Румынией и Югославией. Другой важной проблемой оставался вопрос о перемирии с Антантой. Хотя Австро-Венгрия подписала 3 ноября 1918 на вилле Джусти рядом с Падуей капитуляцию и перемирие с Антантой, Венгрия к тому времени уже объявила о своём выходе из её состава, поэтому многие члены правительства считали необходимыи подписать новое перемирие. Каройи был вынужден с этим согласиться, и в ноябре 1918 Венгрия и Антанта заключили в Белграде перемирие. Возглавлявший делегацию Антанты командующий союзными войсками на Балканах французский маршал Луи Франше д?Эспере назвал Венгрии гораздо более жёсткие условия соглашения, чем предусматривалось Падуанским соглашением. Это стало определённым ударом для Каройи, надеявшегося на мягкое отношение к Венгрии, и сильно уменьшило его популярность. Оппозиция заявляла, что Каройи тратил силы на заключение перемирия, мало уделяя внимания внутренним делам страны.
Проблемы росли и в экономике. Социал-демократы, являвшиеся крупнейшей политической силой страны, препятствовали планам Каройи передать землю крестьянам, как он это сделал со своими владениями, считая эти меры поощрением капиталистических отношений. Одновременно продолжалась экономическая блокада страны, поскольку Антанта обещала снять её только после подписания мирного договора. В ноябре 1918 Каройи сильно сократил численность вооружённых сил страны, и в итоге войска Чехословакии, Румынии и Югославии в течение всей зимы 1918—1919 проводили успешные военные операции, расширяя свою территорию за счёт Венгрии. В январе 1919 Каройи приказал начать наращивать численность армии и, несмотря на неприязнь к коммунизму, начал переговоры с РСФСР. Тем временем в стране из-за нехватки продовольствия начался голод, беженцев из Трансильвании, Галиции и Словакии негде было разместить. Блокада Чехословакии лишила страну немецкого угля, и в зиму 1918—1919 в стране практически отсутствовало отопление и не функционировали железные дороги, что вызвало промышленный спад и сильную безработицу. Неудачная финансовая политика правительства, выражавшаяся в массовом печатании денег, привела к сильнейшей инфляции. Неспособный остановить экономический хаос Каройи стал крайне непопулярным. Каройи не был сильным лидером и не мог подчинить правительство своей воле, поэтому эффективность власти была низкой.
20 марта 1919 Франция направила Венгрии Виксскую ноту, в которой требовала признания Венгрией своих границ по линии расположения венгерских войск на момент ноты. После этого социал-демократы образовали новое коалиционное правительство с коммунистами под руководством Шандора Гарбаи. Каройи подал в отставку с поста президента и в июле эмигрировал во Францию.
С 1919 Каройи жил во Франции, а в период Второй мировой войны — в Великобритании. Либеральные позиции Каройи делали невозможным его возвращение в Венгрию в период правления Миклоша Хорти. В 1946 Каройи вернулся на родину, к тому времени ставшую социалистическим государством. Новое правительство оказало ему почести как бывшему президенту. В 1947 Каройи был назначен послом во Франции, но в 1949 он покинул этот пост в знак протеста против суда над Ласло Райком. Остаток жизни он провёл во Франции.
Каройи был автором двух книг воспоминаний: Против всего мира (венг. Egy eg?sz vil?g ellen, 1925) и Воспоминания: Вера без иллюзий (1954).