Из потомственных капиталистов Херсонской губернии. Его предки — венгерские дворяне, принявшие православие и переселившиеся в Россию в XVIII веке. Прадед служил в войсках П. А. Румянцева и А. В. Суворова.
Отец — Егор (Георгий) Яковлевич, предводитель дворянства Херсонской губернии в 1871—1876.
Мать — Леонида, урождённая Тулубьева.
Брат — Яков Егорович (в документах его отчество писалось именно так), родился в 1870, был председателем Херсонской земской управы, в 1906—1912 — Минский губернатор. В материалах Особой следственной комиссии по расследованию злодеяний большевиков содержится информация о том, что
Генерал И. Г. Эрдели был женат на Марии Александровне, урождённой Кузминской (1869—1923), племяннице жены Л. Н. Толстого.
Окончил:
Из училища вышел в 1890 году в Лейб-гвардии Гусарский Его Величества полк. С ноября 1899 — штаб-офицер для поручений при штабе Кавказского военного округа. С 12 сентября 1900 — старший адъютант штаба генерал-инспектора кавалерии великого князя Николая Николаевича. С 22 июня 1905 — старший делопроизводитель канцелярии Совета государственной обороны (этот орган возглавлял великий князь Николай Николаевич). С 9 июня 1907 — командир 8-го драгунского Астраханского полка, с 15 мая 1910 — генерал-майор, командир лейб-гвардии Драгунского полка. С 6 ноября 1912 генерал-квартирмейстер штаба войск Гвардии и Петербургского военного округа (при командующем великом князе Николае Николаевиче).
С 19 июля 1914 года— генерал-квартирмейстер штаба 6-й армии, с 9 августа 1914 года — генерал-квартирмейстер штаба 9-й армии. С 18 октября 1914 года командующий 14-й кавалерийской дивизией, с 13 мая 1915 года — командующий 2-й гвардейской кавалерийской дивизией. Награждён Георгиевским оружием (1915). С мая 1916 года — генерал-лейтенант. С 23 ноября 1916 года — начальник 64-й пехотной дивизии, с 6 апреля 1917 года — командир 18-го армейского корпуса. В июне — июле 1917 — командующий 11-й армией. Во главе армии участвовал в июньском наступлении против войск Германии и Австро-Венгрии. Первоначально частям армии удалось прорвать фронт австро-венгерских войск и добиться некоторых успехов в Зборовском сражении (18-22 июня). Однако, когда в июле германская группа войск нанесла удар по позициям армии, то деморализованные антивоенной агитацией части начали хаотичное отступление.
С июля 1917 года — генерал от кавалерии. С 12 июля 1917 командовал Особой армией. Принял активное участие в выступлении генерала Л. Г. Корнилова, был отстранён от командования, арестован и заключён в Быховскую тюрьму.
В ноябре 1917, вместе с другими заключёнными-генералами, ушёл на Дон, где с первых дней участвовал в формировании Добровольческой армии. Участник Первого Кубанского (Ледяного) похода — первопоходник. В январе — марте 1918 — представитель Добровольческой армии при Кубанском краевом правительстве. В марте — апреле 1918 командовал отдельной Конной бригадой Добровольческой армии, успешно действовал в дни боев под Екатеринодаром. С мая до конца августа 1918 командовал 1-й конной дивизией.
В январе 1919 года командирован в Закавказье для установления связи с представителями английского командования. С апреля 1919 заменял генерала В. П. Ляхова на должности главноначальствующего и командующего войсками Терско-Дагестанского края. С июля 1919 — главноначальствующий и командующий войсками Северного Кавказа, 25 апреля 1920 переведён в резерв чинов при Военном управлении вооружённых сил Юга России (ВСЮР).
В 1920 году эмигрировал во Францию, работал аккомпаниатором, шофёром. Активно участвовал в деятельности Русского общевоинского союза (РОВС), член правления Общества взаимопомощи бывших юнкеров Николаевского кавалерийского училища. С 21 марта 1930 по 29 июня 1934 — председатель Союза офицеров — участников Великой войны. С 29 июня 1934 — начальник 1-го отдела РОВС, объединявшего его чинов на территории Франции, и председатель французского отделения Союза участников Первого Кубанского похода; однако вскоре оставил эти посты. 5 октября 1937 назначен председателем Особой комиссии по расследованию дела агента НКВД генерал-майора Н. В. Скоблина. Комиссия продолжала свою деятельность до конца февраля 1938, и 1 марта 1938 опубликовала своё заключение, признавшее факт предательства Скоблина.
Скоропостижно скончался в Париже. Похоронен на русском кладбище в Сент-Женевьев-де-Буа.
Иностранные ордена: