Происходил из дворян Курляндской губернии, родился 27 декабря 1780 года (по другим данным — в 1781, 1782 или 1783 году). Его братья, Павел и Пётр, оба были генерал-майорами и кавалерами ордена св. Георгия 4-й степени.
Образование получил в артиллерийском и инженерном кадетском корпусе, из которого выпущен 8 декабря 1799 года подпоручиком в полевой артиллерийский батальон, квартировавший в Санкт-Петербурге. В 1800 году император Павел I пожаловал ему орден св. Иоанна Иерусалимского.
Принимал участие в войне с французами 1806—1807 годов в Восточной Пруссии. Состоя в звании адъютанта при генерал-майоре графе Кутайсове, Арнольди особенно отличился в сражении при Прейсиш-Эйлау 26 и 27 января 1807 года, за что награжден золотым знаком отличия на георгиевской ленте, установленным в память этого дня; в том же году был в сражениях: 24 и 26 мая при деревне Ломитене (за которое в 1808 году получил орден св. Анны 4-й степени), 29 мая при Гейльсберге и 2 июня при Фридланде. За последнее сражение он 12 апреля 1808 года награждён золотой шпагой с надписью «За храбрость».
В 1809 году участвовал в походе в Австрию, но в сражениях участия не принимал, а в 1811 году, за отличную службу при графе Кутайсове, ему Высочайше повелено было носить на воротнике золотые петлицы, подобные тем, которые пожалованы были за отличия некоторым артиллерийским бригадам.
В 1812 году Арнольди был переведён в 1-ю артиллерийскую бригаду, с назначением командиром 13-й конной роты, состоявшей в армии Чичагова; с этой ротой он оказал особые отличия в боях на Березине 14 и 16 ноября (причём под ним были убиты три лошади) и при дальнейшем преследовании неприятеля, за что был награждён орденом св. Владимира 4-й степени с бантом.
29 января 1813 года, находясь с ротою в авангарде, под начальством графа Воронцова, одними картечными выстрелами выбил неприятеля из местечка Рогожного, а затем преследовал на расстоянии 15 верст, до местечка Оберник, за что награждён чином подполковника. Во время шестинедельного перемирия находился в блокадном корпусе под Магдебургом. 25 августа участвовал в сражении при Денневице, где атакой своих конных артиллеристов, взял два неприятельских орудия, после чего с лёгкой кавалерией преследовал противника и, 27 числа, нагнал его уже под самой крепостью Торгау. Здесь, имея под своим начальством 24 орудия, их огнём он принудил сдаться гарнизон одного из передовых укреплений и 24 сентября за свой подвиг пожалован орденом св. Георгия 4-й степени(№ 2681 по кавалерскому списку Григоровича—Степанова), а от прусского короля получил орден Pour le M?rite.
Затем, находясь в армии наследного принца шведского, Арнольди принимал участие в Битве народов под Лейпцигом, в которой совершил ряд выдающихся подвигов. Будучи около полудня 6 октября ранен пулей в икру левой ноги, фронта для перевязки не оставил и с пулей в ноге продолжал командовать; из селения Редниц гнал неприятеля до самого Лейпцига, вблизи которого у Арнольди оторвало раненую ногу, но он все-таки еще четверть часа просидел на лошади, а затем сполз с нее и командовал лежа у правофлангового орудия. Император Александр I, узнав о тяжкой ране Арнольди, перенесённого для операции в селение Тауху, прислал своего лейб-медика. Ногу пришлось отнять до половины бедра, но это не вывело Арнольди из строя, в котором он прослужил ещё свыше 40 лет, причём, не имея ноги, сидел и ездил на коне. За отличие в этой битве он в тот же день был произведён в полковники, а кронпринц шведский возложил на него, на месте сражения, военный орден Меча.
По выздоровлении, Арнольди вступил в командование прежней ротой и, в 1815 году, находился в составе армии, двинутой для действий против Наполеона за границу.
8 августа 1817 года он был назначен начальником артиллерии 5-го резервного кавалерийского корпуса, а 31 января 1820 года — командиром лейб-гвардии конной артиллерии. Тогда же в Санкт-Петербурге появилась шутка, что в гвардейской конной артиллерии три полковника с пятью ногами, пятью руками и тридцатью шестью орденами, это были Арнольди, И. И. Бартоломей (без руки) и В. В. Гербель.
12 декабря 1821 года произведён в генерал-майоры, с назначением состоять по поручениям при графе Аракчееве. 9 августа 1822 года назначен начальником артиллерии военных поселений Херсонской и Екатеринославской губернии, а приказом от 11 мая 1826 года ему повелено было состоять для по особых поручений при генерал-фельдцейхмейстере великом князе Михаиле Павловиче.
В 1829 году Арнольди отправлен к армии, действовавшей в Европейской Турции, в звании начальника осадной артиллерии, и, при осаде Силистрии, постоянно находился в траншеях, под жестоким огнём. Вызванный затем главнокомандующим к главной квартире, он своей распорядительностью и отвагой много содействовал победе над турками при Кулевчи 30 мая.
В критический момент сражения Арнольди получил приказание взять конно-батарейную № 19 батарею и идти на выручку авангарда, истомленного неравным и ожесточённым боем. Неожиданное появление из-за горы батареи, обдавшей неприятеля картечью, заставило турок дрогнуть и отступить. Новые троекратные атаки турок расшиблись о стойкость и мужество авангарда. Между тем главные массы турок обрушились на правый фланг русских войск. Арнольди с батареей понёсся туда и столь же неожиданно оказался против обнажённого правого фланга турок, которые от удачного действия наших снарядов пришли в полное смятение. В преследовании батарея не могла сразу принять участие, так как все снаряды оказались израсходованными, но временную задержку Арнольди быстро наверстал, как только удалось пополнить боевой комплект. С Иркутскими гусарами батарея понеслась за отступавшими турками и довершила гибель противника, бежавшего в паническом ужасе, бросив всю свою артиллерию, весь обоз и все, что затрудняло бегство. Победа под Кулевчей оказала решительное влияние на исход кампании. Арнольди, как один из главных творцов победы, 9 июня был награждён орденом св. Анны 1-й степени.
Перейдя с армией за Балканы, участвовал в деле под Сливно и при занятии Адрианополя, за которые, как и вообще за отличия, оказанные им в эту войну, 6 декабря получил императорскую корону к ордену св. Анны 1-й степени.
По окончании турецкой войны, Арнольди снова был назначен состоять при великом князе Михаиле Павловиче; в 1834 году наименован начальником конно-артиллерийского резерва и награждён орденом св. Владимира 2-й степени; 6 декабря 1835 года произведён в генерал-лейтенанты; в 1841 году, за упразднением конно-артиллерийского резерва, назначен начальником артиллерии по части инспектора резервной кавалерии. 24 сентября 1847 года он получил орден Белого орла и 6 декабря 1849 года, в честь 50-летия службы, ему пожалован орден св. Александра Невского.
Произведённый 8 аперля 1851 года в генералы от артиллерии, Арнольди в следующем году, 21 сентября, был определён сенатором. Присутствовал в 1-м отделении 6-го департамента, а с 1 января 1853 года — во 2-м отделении 5-го департамента.
Скончался 11 октября 1860 года в Санкт-Петербурге, похоронен в Царском Селе на Казанском кладбище.
Арнольди был дважды женат. Родившаяся от первого брака на сестре декабриста Н. И. Лорера Надежде дочь София вышла впоследствии замуж за князя Ухтомского. От второго брака на дочери французского купца Софии Карловне Погибель, Иван Карлович оставил двух сыновей: Александра (генерал от кавалерии) и Льва (чиновник МВД); Иваном Карловичем оставлены интересные мемуары, которые хранлились у старшего сына, генерала от кавалерии А. И. Арнольди.
В «Военной энциклопедии» Сытина дана следующая характеристика Арнольди: «Арнольди представлял собой своеобразный тип. Большой поклонник дисциплины, он наводил на солдат страх, хотя заботился о их пище и одежде. К поставщикам армии, если они воровали, он был беспощаден, приказывая даже бить их палками. Проворовавшегося солдата секли безжалостно. Вместе с тем он был известен своим жестоким и вспыльчивым нравом, причём не стеснялся ни с кем».
Арнольди был очень дружен с комендантом Царского Села генералом Захаржевским, у которого также не было ноги. П. П. Потоцкий в своём труде рассказывает следующую историю: «Однажды император Николай Павловнч встретил Арнольди на Исаакиевской площади и подойдя к нему сказал: „А я издали принял тебя за Захаржевского“. — „Между нами большая разница, Ваше Велнчество“ — отвечал Арнольди. — „Да, ты выше“. — „He то, Ваше Величество“. — „А, знаю, у тебя нет левой, а у Захаржевского правой ноги“. — „Никак нет, Ваше Величество“. — „Так какая же между вами ещё разница?“. — „Я полевой, — отвечал Арнольди, — а он оранжерейный!“. Император был весьма доволен этой шуткой и впредь уже не смешивал Арнольди с Захаржевским».