Учился в Брюссельской консерватории у Ламбера Жозефа Меертса, затем совершенствовал своё мастерство под руководством Йозефа Иоахима.
Был особенно известен как исполнитель скрипичного концерта Иоганнеса Брамса, впервые исполнил его в Париже, Нью-Йорке и Австралии. Играл также первую скрипку в квартете с участием Хуго Беккера, Фрица Бассермана и Адольфа Ребнера.
Преподавал во франкфуртской Консерватории Хоха с её основания в 1878 году и до 1904 года.
В 1906—1909 годах преподавал в Чикагском музыкальном колледже, в 1911 году — в Консерватории Штерна в Берлине, в 1912 году — в Женевской консерватории.
Под редакцией Хеермана вышла «Трансцендентальная школа скрипки» Шарля Огюста де Берио (1896).
В год смерти Хеермана была издана его книга «Воспоминания моей жизни» (нем. Meine Lebenserinnerungen ).