Гейберг защитил диссертацию в 1879 г. (Questiones Archimedeae). Далее был профессором кафедры классической филологии Копенгагенского университета (с 1896 по 1924 гг.). Автор более 200 статей и книг, в основном по истории античной науки: Евклид, Архимед, Аполлоний Пергский, Клавдий Птолемей, Герон Александрийский и др. Многие его работы, особенно комментированное издание «Начал» Евклида, считаются классическими.
Дошедшие до нас рукописи «Начал» Евклида имеют ряд существенных отличий друг от друга, накопившихся в ходе многовекового редактирования комментаторами или от ошибок переписчиков. В своей реконструкции 13 книг Евклида Гейберг проанализировал все сохранившиеся древнегреческие тексты, включая египетские папирусы с фрагментами «Начал», а также арабские переводы IX века и далее.
Всего Гейберг использовал 8 греческих манускриптов, датируемых сейчас IX—XI веками. Семь из них в своём заглавии имеют пометку «из издания Теона» или «из лекций Теона» и поэтому называются Теоновскими. Ватиканский манускрипт такой пометки не имеет и считается неподверженным редакторским правкам Теона. Теоновские манускрипты разнятся между собой, и общих признаков, отличающих их от ватиканского манускрипта, немного (наиболее существенный — концовка IV книги). На полях манускриптов имеются многочисленные комментарии, взятые частично из комментариев Прокла, которые вписывают Начала в контекст греческой культуры — например, сообщается о том, что Пифагор, открыв свою теорему, принес в жертву быков.
Издание Гейберга (1883—1888, совместно с Х. Менге) легло в основу всех последующих переизданий «Начал», включая русские переводы.
В 1906 г. в руки Гейберга попала рукопись богословского содержания, в которой он распознал палимпсест — текст, записанный поверх соскоблённого текста более древней рукописи. Первоначальный текст удалось восстановить, он оказался трудом Архимеда «Послание к Эратосфену о методе», известным до находки только по упоминаниям у других авторов. Открытие вызвало огромный интерес и существенно обогатило представление о научном методе Архимеда.