Родился в семье потомственных дворян Херсонской губернии. По линии отца принадлежал к родовитой фамилии сербского происхождения, по линии матери приходился внучатым племянником выдающемуся русскому полководцу, генерал-фельдмаршалу, светлейшему князю М. И. Кутузову.
В 1875 году поступил в Николаевское инженерное училище, которое окончил в 1878 году по 1-му разряду и в чине подпоручика получил назначение в Сапёрный лейб-гвардии батальон. Участвовал в русско-турецкой войне 1877—1878 годов, с мая по сентябрь 1878 года он находился на Балканском полуострове в селе Стефано, регулярно совершая командировки по инженерной части для принятия пороха, гальванических (электрических) повозок и т. п. в город Рущук и др.
В октябре 1881 года он сдал приёмные экзамены и поступил в младший класс Николаевской инженерной академии, откуда спустя два года был отчислен по «домашним обстоятельствам», вернулся в свой батальон и занимался преподавательской деятельностью в учебной команде при батальоне.
В марте 1885 года был произведён в чин поручика и в июне был командирован на строительство Закаспийской военной железной дороги, получив назначение на должность чиновника по особым поручениям при заведующем постройкой дороги генерале М. Н. Анненкове. Закаспийская военная железная дорога примечательна тем, что она стала первой в мире железной дорогой, построенной в период 1880—1888 годов, в зоне подвижных песков. Изначально её сооружение предполагалось для стратегических нужд военного ведомства Российской империи, и только с 1899 года дорога перешла в ведение Министерства путей сообщения.
Укладка верхнего строения пути железной дороги производилась двумя железнодорожными батальонами. По мере постройки дороги и открытия станций, все должности по службе движения, тяги и ремонта пути исполняли также служащие этих батальонов: офицеры, унтер-офицеры и рядовые. Для выполнения в кратчайшие сроки всех работ и осуществления эксплуатации рельсового пути людей не хватало, поэтому Хорвату, будучи чиновником по особым поручениям при управляющем постройкой, приходилось выполнять работу и десятника, и путевого мастера, и даже помощника машиниста паровоза.
Благодаря своим природным дарованиям и исключительным служебным качествам быстро двигался по службе, занимал ряд должностей. В 1889 году, когда железнодорожная линия была построена до города Самарканда, назначен начальником дистанции по эксплуатации Самаркандского участка Закаспийской военной железной дороги, в апреле этого же года был произведён в чин штабс-капитана, в 1894 году произведён в чин капитана.
В 1895 году получил назначение в Уссурийский край, на постройку Уссурийской железной дороги, на должность начальника 1-го Уссурийского батальона.
В мае 1898 года произведён в чин полковника. В сентябре 1896 года назначен начальником Южно-Уссурийской железной дороги с оставлением в прежней должности. С апреля 1899 года — и. д. начальника Закаспийской железной дороги. В ноябре 1902 года получил предложение занять пост управляющего строившейся тогда Китайско-Восточной железной дороги. С 1903 года — руководитель строительства, затем вплоть до 27 апреля 1918 года — Управляющий Китайско-Восточной железной дорогой. Одновременно состоял в распоряжении Министра финансов (как главы ведомства, в ведении которого находилась КВЖД).
Произведён в чин генерал-майора (производство 1904; старшинство 26 ноября 1906 года; за отличие), затем в чин генерал-лейтенанта (производство 6 декабря 1911 года; старшинство 26 ноября 1912 года; за отличие).
После Февральской революции 1917 года — Комиссар Временного правительства на КВЖД (1917).
После октябрьского переворота 1917 года в полосе отчуждения КВЖД по-прежнему царил полный порядок, жизнь каждому была обеспечена, и все жили в сытости и в спокойствии. Люди верили, что, пока там будет Хорват, все будут защищены от всяких бед и напастей. Полоса отчуждения получила тогда наименование «счастливой, благословенной Хорватии», но оказалась она, благодаря распаду в России центральной верховной государственной власти, как бы совершенно самостоятельной, предоставленной своим собственным силам.
Генерал Хорват долго не соглашался на общие уговоры принять на себя тяжкое бремя несения полномочий верховной власти, но в конце концов решился и 10 июля 1918 года объявил себя Временным Правителем впредь до тех пор, пока не будет восстановлена русская национальная верховная государственная власть. В этом высоком звании и на этом ответственном посту он оставался до 14 ноября 1918 года, когда в Сибири образовалось из бывших членов Сибирской Областной Думы Временное Сибирское правительство, коему он передал свои верховные полномочия, сложив с себя звание Временного Правителя и оставшись Верховным Уполномоченным на Дальнем Востоке, с подчинением ему всех войск и военных флотилий Дальнего Востока. На этом посту он продолжал оставаться и тогда, когда Сибирское Правительство передало, в свою очередь, свои полномочия образовавшемуся в городе Уфе Временному Всероссийскому Правительству, а равно и тогда, когда означенное Правительство пало, и вся полнота государственной власти перешла к Верховному Правителю — адмиралу А. В. Колчаку.
31 августа 1919 года генерал Хорват возвратился из своей резиденции как Верховного Уполномоченного Российского Правительства на Дальнем Востоке во Владивостоке, в Харбин. Там он оставался во главе управления огромной территорией полосы отчуждения железной дороги до тех пор, пока не появилась «нота Карахана», в которой большевистская власть отказывалась безвозмездно от каких бы то ни было русских прав на Китайско-Восточную железную дорогу.
После «ноты Карахана» совершенно отошёл от дел дороги и уехал в 1920 году в Пекин. Занимался политической и общественной деятельностью. С 1921 по 1924 год — советник общества КВЖД в Пекине. С 1924 года — председатель отдела Русского общевоинского союза (РОВС) в Китае. Оставался там до своей смерти, являясь официально признанным главой русской эмиграции на Дальнем Востоке. Неустанно работая по ограждению прав эмиграции и по устройству её благополучия, генерал Хорват, благодаря своему авторитету и всему своему прошлому, во многом смог помочь своим соотечественникам.
Похоронен у одной из стен храма Мучеников в Пекинской духовной миссии.
Супруга — Камилла Альбертовна Бенуа (1879—04.07.1959, Ванкувер,Канада) — дочь русского художника Бенуа А. Н.
Иностранные награды: