Родился в княжестве Сацума (ныне — префектура Кагосима) в семье древнего самурайского рода.
Отличился во время реставрационной войны 1868 года в рядах сторонников императора.
Во время франко-прусской войны находился при прусских войсках, изучая передовой опыт ведения войны. В 1871—74 годах получил военное образование во Франции и Швейцарии.
Когда в 1877 году его близкий родственник Сайго Такамори поднял самурайское восстание в Сацуме (к которому присоединился также старший брат Оямы), остался верен правительству — командовал бригадой при подавлении мятежа, используя при этом полученный в Европе опыт.
В 1879 году был назначен заместителем министра внутренних дел и начальником столичной (токийской) полиции. С 1880 года — министр армии, с 1882 года — начальник генерального штаба. В 1883 году совершил путешествие в Европу для изучения организации армий.
После возвращения, в 1885—96 годах (с небольшим перерывом), — вновь министр армии, проводил милитаризацию страны.
После начала в 1894 году японо-китайской войны (1894—1895) — командовал 2-й армией, высадившейся на Ляодунском полуострове, штурмом взявшей Люйшунь. Затем армия пересекла Жёлтое море и захватила крепость Вэйхайвэй.
По итогам этой кампании получил титул маркиза и стал членом Тайного совета при императоре. 20 января 1898 года стал маршалом Японской империи.
В 1899—1904 годах — вновь начальник Генштаба. Под его руководством был разработан план войны с Россией и проведена тщательная подготовка японской армии к кампании.
В июне 1904 года был назначен главнокомандующим японскими войсками в Маньчжурии и на Ляодунском полуострове. Под его общим командованием японские войска победили в Ляоянском сражении, отбили наступление русских при реке Шахе и с помощью прибывшей из-под Порт-Артура 4-й армии Ноги одержали решительную победу под Мукденом.
В 1906 году стал почётным членом британского Ордена Заслуг (Order of Merit).
В 1907 году император пожаловал Ояме титул князя. С 1912 года был лордом-хранителем императорской печати и гэнро.