Закончил гимназию в Сегеде, после чего получил духовное образование. В 1844-47 годах преподавал венгерский язык в Терезиануме. С 1848 года епископ. В январе 1849 года был избран депутатом венгерского государственного собрания в Дебрецене от комитата Веспрем. С мая 1849 года входил в революционное правительство Б. Семере, где занимал должность министра культа и просвещения. После разгрома венгерской революции эмигрировал из страны; жил в Швейцарии, во Франции, в Бельгии и других странах. По решению австрийского суда в 1851 году был приговорен к смертной казни. В 1866 году амнистирован и в 1867 году возвратился в Венгрию. В дальнейшем являлся приверженцем партии Деака.
Хорват оставил после себя значительное историко-публицистическое наследие. В подавляющем большинстве его работ рассматриваются и оцениваются события венгерской революции 1848—49 годов, а также жизнь дореволюционной Венгрии, очевидцем и непосредственным участником которой являлся сам автор. Исторические труды Хорвата по своей сути являются хроникальным описанием событий тех лет, пронизанными пониманием прогрессивной роли и политического значения революции. В то же время, оставаясь на политических позициях среднего дворянства, Хорват замалчивает факты классовой борьбы в революции, сводя ее лишь к борьбе «единого венгерского народа» против австрийцев. Хорват в своих произведениях также поддерживал созданную в период революции легенду о добровольном отказе венгерских дворян от своих привилегий и об освобождении крестьян от крепостной зависимости.