Родился 21 марта 1826 года.
Алимпич получил военное образование в Пруссии; по возвращении в Сербию занял профессорскую кафедру в Белградской военной академии и в 1850-х годах читал там лекции по тактике; при князе Милоше состоял начальником Зайгарского и Неготинского пограничных округов, затем в 1863 г. князь Михаил назначил Алимпича министром военным и путей сообщения.
В 1874 г., под давлением оппозиции, Алимпич принужден был отказаться от министерского портфеля, получив звание сенатора. В марте 1876 г., в период, предшествующий началу сербско-турецкой войны, Алимпич был командирован в Цетинье для выработки плана совместных действий Сербии и Черногории — на случай нападения турок на одну из этих стран. При формировании сербской армии в июне 1876 г. полковник Алимпич, занимавший в то время пост начальника Белградской академии, был поставлен во главе Дринской армии, с производством в генералы.
Общая численность Дринской армии с волонтерами доходила до 30 тысяч человек (20 тысяч пехоты, 5 тысяч кавалерии, 60 орудий), комплектовавших 2 дивизии, по 3 бригады каждая. Против армии Алимпича турки выставили на Боснийском театре 27—30 тысяч человек под начальством Али и Мехмед-Али пашей.
2 июля Дринская армия, под командою Алимпича, перейдя Дрину близ Лешницы, открыла военный действия. На Алимпича была возложена задача: проникнуть в Боснию, вызвать в ней восстание, организовать там временное управление и, соединившись с черногорскими отрядами, вытеснить из Боснии турецкие войска.
4 июля Дринская армия, не встречая по пути сопротивления, приблизилась к Белине и после продолжительной бомбардировки взяла внешние укрепления, захватив пленных, знамена, оружие и лошадей, понеся при этом потери до 200 убитых и 400 раненых.
Дальнейшее наступление было отбито 9-тысячным турецким отрядом, засевшим в Белине. Укрепившись у Белины, Алимпич выдвинул мелкие отряды, составленные преимущественно из волонтеров, вглубь Боснии, за Белину до Травника, в надежде на повсеместное восстание; однако, всякое враждебное движение местных племен вызывало со стороны турок жесточайшие репрессии.
19 июля 10 батальонов низама и редифа, усиленные отрядом башибузуков, подошли к Белине и тотчас же перешли в наступление, но после шестичасового боя были отброшены. После этого Алимпич, сосредоточив главные силы против Белины и опираясь флангами на Берчке и Аце, занял оборонительное положение, не предпринимая наступательных действий.
Если бы Алимпич в самом начале, без всяких колебаний, повел энергичное наступление, то ему, может быть, удалось бы выбить турок из Белины, тем более, что первое время на его стороне был перевес моральных и физических сил, но его медленность и нерешительный образ действии позволили боснийскому вали направить свободные военные силы в Зворник и Белину; последующие же события на Моравском театре военных действий привели к отвлечению от Дринской армии значительного числа людей, и в результате армия Алимпича, предназначенная к наступлению, очистила возведенные по инициативе Алимпича укрепления и отступила в ночь на 14 сентября за Дрину, на сербский берег, разрушив за собой мосты.
Неблагоприятно сложившаяся обстановка повлекла увольнение Алимпича от командования Дринской армией, которое он сдал Узуну Марковичу.
28 сентября Алимпич вновь был призван на ответственный пост командующего Ибарской армией на смену Чолокантича, но начавшиеся мирные переговоры, а затем приезд русского генерала Новосёлова и назначение последнего командующим Ибарской армии прервали военную деятельность генерала Алимпича.
В ноябре 1876 г., в период реорганизации сербской армии и подготовки к русско-турецкой войне, Алимпич был снова поставлен во главе Дринской армии. Однако, его армия, расположенная вдали от главного театра войны, не приняла участия в активных действиях и не играла какой-либо роли в дальнейших событиях войны 1877—1878 гг.
Заслуги Алимпича были отмечены князем Миланом в августе 1876 г. пожалованием ему ордена Такова, тотчас же по учреждении этого ордена.
Алимпич скончался 19 ноября 1882 года в Белграде.