Родился 30 марта 1902 года на хуторе Нуки Велтской волости Гапсальского уезда Эстляндской губернии, в бедной семье, которая батрачила на немецкого барона. С восьми лет стал пасти скот по найму.
В 1915 году с отличием закончил Тарваскую пятилетнюю министерскую школу, после чего переехал в Таллин и поступил в ученики к своему дяде, работавшему парикмахером. За два года сдал экстерном экзамены за курс городского училища и начал готовиться к поступлению в гимназию, но все надежды оборвала революция 1917 года.
В ноябре 1918 года, перед вступлением германских войск в Эстонию, эвакуировался в Вятскую губернию. Там некоторое время служил в отряде железнодорожников.
В апреле 1918 года, вступив добровольцем в Красную Армию, был назначен вестовым Вятского губернского военного комиссариата. В августе в составе сформированного в Вятке отряда К. Ару выехал в район военных действий, где в составе 2-го Красноуфимского полка участвовал в общем наступлении на Екатеринбург.
В декабре того же года его, как эстонца, отозвали в распоряжение Эстляндской трудовой коммуны. Там же был направлен в состав одного из подразделений революционного полка охраны, позднее участвовал в отступательных боях под Нарвой и Тапа. В феврале 1919 года переведен в 3-й коммунистический стрелковый полк (позднее 5-й Вырусский полк), в его рядах прошёл тяжелые бои на территории Эстонии в районе Мунамяги.
30 июля 1919 года в бою за город Остров Псковской губернии Карл Ару был ранен — осколок, пробив насквозь ремень и одежду, вонзился ему в тело. После выздоровления направлен в 1-й Эстонский кавалерийский полк. Воевал на Западном фронте, участвовал в разгроме Северо-Западной армии генерала Н. Н. Юденича. В 1920 году этот полк перебрасывают на Южный фронт. В пути молодой кавалерист заболел брюшным тифом.
Выписавшись из больницы, был направлен в артдивизион 3-й Казанской стрелковой дивизии. Участвуя в боях по разгрому войск Врангеля, штурмуя Перекоп, освобождая Крым, закончил гражданскую войну в артиллеристом.
В октябре 1925 года К. И. Ару был принят в Одесскую артиллерийскую школу, которую окончил после четырёх лет учёбы в 1929 году со званием кадрового командира. По окончании нес службу в артиллерийской бригаде Белорусского военного округа, дислоцированной в районе Мозыря.
В 1932 году был зачислен слушателем Артиллерийской академии РККА имени Ф. Э. Дзержинского. По окончании академии Ару направили на преподавательскую работу в Горьковское зенитно-артиллерийское училище. Некоторое время Ару сидел в тюрьме по клеветническому доносу в связи с «врагами народа», но вскоре был оправдан.
Начало войны застало подполковника К. Ару в Краснодарском минометном училище, куда его направили за два месяца до её начала. В мае 1942 года был откомандирован в Уральский военный округ и назначен на должность командира 779-го артиллерийского полка 249-й Эстонской стрелковой дивизии.
В боях под Великими Луками в декабре-январе 1943 года командовал 23-м артиллерийским полком (7-й дивизии 8-го Эстонского стрелкового корпуса).
Особенно отличился подлковник Ару во время боев под г. Невелем в 1943 году. Командуя артгруппой «Ворон» в составе трех эстонских артполков, поддерживал 52-ю гвардейскую, а позже 51-ю стрелковые дивизии. Командующий артиллерией 52-й дивизии полковник Потанин высоко оценил действия группы и лично К. Ару.
В боях за город Новосокольники в январе 1943 года 23-й артиллерийский полк под командованием Ару показал высокое огневое мастерство. За это Указом Президиума Верховного Совета СССР полк был награждён орденом Суворова 2-й степени, а его командир представлен к ордену Александра Невского. Это была первая орденоносная часть в Эстонском стрелковом корпусе.
Летом 1943 года Ару был назначен командующим артиллерией 7-й Эстонской стрелковой дивизии. Позднее был начальником штаба артиллерии корпуса, а с марта 1944 года до конца войны — командующий артиллерией корпуса.
Тяжелое испытание выпало на плечи полковника Ару, когда в июле 1944 года вся артиллерия Эстонского корпуса в количестве около 500 орудий и минометов была привлечена 2-й Ударной армии для прорыва вражеской обороны севернее Нарвы. Кроме того, на него возложили командование контрминометной группой армии. В ходе подготовки операции Ару сутками находился в войсках. В штаб он вернулся лишь после того, как Нарва была освобождена. Спустя 30 лет он станет Почетным гражданином города Нарвы.
Несомненно, наиболее ответственный момент в жизни Карла Ивановича связан и с боями за освобождение родной Эстонии. О его качествах артиллерийского начальника говорит хотя бы то, что все артполки Эстонского корпуса (23-й, 779-й и 85-й корпусной) стали орденоносными.
Окончание войны застало полковника Ару в Курляндии, где он командовал огневым ударом по сосредоточению вражеских частей. В огневом налете от корпуса участвовало свыше 500 орудий и минометов, 17 тысяч снарядов и мин.
11 июля 1945 года начальнику артиллерии корпуса К.И. Ару было присвоено звание генерал-майора артиллерии.
После окончания войны продолжал командовать артиллерией 8-го Эстонского стрелкового корпуса, в 1946 году был назначен на должность заместителя командующего артиллерией армии.
В апреле 1948 года направлен на учёбу в Военную академию Генерального штаба в Москве, а после её окончания был оставлен старшим преподавателем. В этот период в академии осуществлялся переход на программу обучения мирного времени, начиналось расширение академии.
В Академии Генштаба генерал-майор артиллерии К. Ару проработал до 1961 года, затем уволился в запас.
Находясь на заслуженном отдыхе, К. И. Ару активно занимался общественной деятельностью. За эти годы он занимал многие должности, том числе:
Некоторое время возглавлял комиссию по истории Великой Отечественной войны Института истории партии при Компартии Эстонии. В соавторстве с полковником Федором Паульманом в 1984 году написал биографическую книгу «Наш генерал», посвященную бывшему командиру корпуса генерал-лейтенанту Л. А. Пэрну.
К. И. Ару написал воспоминания о военной службе «С родной артиллерией» (на эстонском языке книга была издана в 1967 году и на русском языке в 1977 году). В 90-е гг. стал одним из героев эстонского документального фильма «Ветераны помнят», который был снят Е. М. Ульяновым.