Родился в семье офицера. Учился в кадетском корпусе в Санкт-Пёльтене, затем в Терезианской академии. В 1875 выпущен лейтенантом в 4-й драгунский полк. В 1878 окончил курс академии генерального штаба. С 1880 служил в генеральном штабе, с 1891 — в кавалерийской инспекции. С 1896 — командир 3-го уланского полка. С 1901 — командир 16-й кавалерийской бригады в Прессбурге. С ноября 1905 — командир кавалерийской дивизии в Кракове. С апреля 1909 — командир 12-й пехотной дивизии. С ноября 1911 — командир 1-го пехотного корпуса в Кракове.
С началом первой мировой войны назначен командующим 2-й армией, которой командовал до мая 1918. В начале войны его армия была отправлена против Сербии, согласно австрийскому военному плану «б», но вскоре её пришлось вернуть и отправить на восточный фронт для отражения русского наступления в Галиции. Командовал армией в Карпатской операции, во время австро-германского наступления в 1915 и русского наступления 1916. В августе 1917 ему пожалован баронский титул, а в январе 1918 Бём-Эрмоли был произведён в генерал-фельдмаршалы.
После войны поселился в Опаве (Троппау) в Чехословакии. После аннексии Судетской области Германией (1938) получил почётное звание фельдмаршала вермахта, единственный из австрийских командующих.