Окончил Болградскую гимназию (1867), продолжил образование в Техническом училище в Бухаресте, которое закончил. В Бухаресте познакомился с деятелями болгарского национально-освободительного движения Любеном Каравеловым, Ангел Кынчевым и Панайотом Хитовым. В 1872—1874 — член и секретарь Болгарского революционного центрального комитета в Бухаресте. Собирал памятники болгарского фольклора, которые публиковал в периодической печати. Публиковался в изданиях «Български глас», «Свобода», «Стара планина» и «Независимост». В 1875—1876 изучал инженерное дело в Париже в Школе строительства мостов и шоссе.
В 1876 вернулся в Бухарест, где стал заместителем председателя Болгарского центрального благотворительного общества и участвовал в наборе болгарских добровольцев для участия в Сербско-турецкой войне (сам также был добровольцем).
После начала русско-турецкой войны 1877—1878 поступил в 1-ю роту Болгарского ополчения. Отличилчся в битве при Стара-Загоре и на Шипке, за что награждён Знаком отличия Военного ордена (Георгиевским крестом) 4-й степени. В 1878 был произведён в прапорщики. С июля 1878 — командир 2-й полубатареи в Планинской батарее.
Окончил Михайловскую артиллерийскую академию в Санкт-Петербурге. С 1883 служил в 12-й батарее, с 1884 — адъютант начальника артиллерии болгарской армии, затем командир 5-й батареи в 1-м артиллерийском полку. После объединения Болгарии и Восточной Румелии в 1885 русские офицеры, занимавшие командные посты в болгарской армии, покинули страну, и капитан Олимпий Панов стал начальником артиллерии. Во время Сербско-болгарской войны 1885 руководил успешной перегруппировкой сил немногочисленной болгарской армии, а затем командовал войсками, одержавшими победу в сражении при Сливнице, которая решила исход войны. В качестве представителя болгарской армии подписал соглашение о перемирии.
С 12 апреля 1886 командовал артиллерийской бригадой, некоторое время находился за границей. После пророссийского переворота (детронизации князя Александра Баттенберга) в августе 1886 Олимпий Панов вернулся в Болгарию. В условиях жёсткого политического противостояния предложил план действий: не допустить возвращения князя, провозгласить Болгарию парламентской республикой, амнистировать организаторов и участников переворота. По мнению болгарского историка Р. Попова, энергичная деятельность Панова помогла избежать вооружённого столкновения, угрожавшего существованию Болгарии. Руководил Софийским гарнизоном, в августе 1886 в течение нескольких дней был военным министром в правительстве Петко Каравелова. Победа сторонников монархии и начавшиеся репрессии в отношении участников переворота привели к аресту Панова и его последующей эмиграции в Румынию. Там он присоединился к офицерам, готовившим пророссийский заговор.
В 1887 принял участие в восстании офицеров-русофилов в Русе. После его неудачи был арестован и предан суду, на котором держался мужественно, называя себя не предателем, а патриотом Болгарии. Был приговорён к смертной казни и расстрелян.