В ранней биографии Дундича есть много неясного, так нельзя определённо утверждать время и место его рождения, настоящей ли является фамилия Дундич и имя Олеко, а также национальность и вероисповедание. В одних источниках его называют сербом, в то же самое время в других он фигурирует как хорват. По происхождению православный серб Из сербских сельских жителей, родом из австро-венгерской Далмации.
Третий наиболее поздний источник констатирует полную неясность его ранней биографии, в том числе место и время рождения, настоящего имени и фамилии, называя его сербом и не затрагивая и вероисповедание
Служил унтер-офицером в гусарском кавалерийском полку, затем в 70-м пехотном полку Австро-Венгрии. Полк состоял в основном из жителей боснийской области Срем, а его бойцы назывались зибцигерами (нем.) — семидесятниками.
Дундич — чемпион австро-венгерской армии 1914 года среди унтер-офицеров по фехтованию. Воевал в I Мировой войне на русском фронте. Попал в русский плен под Луцком в 1915 или 1916 году.
В плену поступил в добровольческий сербский отряд армии Российской империи. Получил чин подпоручика. После Февральской революции встал на сторону большевиков, вступил в РСДРП(б).
В РККА служил в кавалерии, с 1918 года у С. М. Будённого.
Согласно легендам, которые о нём стали складывать ещё при жизни, Дундич отличался невероятной храбростью. Эту особенность Дундича отметили Исаак Бабель в цикле рассказов «Конармии» и Алексей Толстой в романе «Хождение по мукам» (книга 3, «Хмурое утро»).
Погиб в конце Гражданской войны при штурме Ровно Первой конной армией на территории, затем отошедшей (до 1939 года) Польше.
Был награждён Орденом Красного Знамени и Почётным революционным золотым оружием.