Хандзо родился в городе Хирацука (на сегодняшний день город входит в префектуру Канагава). Окончил восемь классов Императорской военной академии в 1886 году и восемь курсов Императорского военного колледжа — в 1892. В ходе первой японо-китайской войны воевал в составе 4-й пехотной бригады, входившей в состав Второй армии Японии.
После войны занимал ряд административных постов. С 1898 по 1902 годы был военным атташе в Германии.
В течение русско-японской войны Яманаси Хандзо был заместителем командующего Второй армией Японии и, позже, командующим Третьей дивизией. Сразу после войны Яманаси вернулся в Европу, где продолжил службу в качестве военного атташе — сначала, с 1905 по 1907 годы — в Австро-Венгрии, а затем, с 1907 года — в Германии.
В 1911 году Яманаси Хандзо стал генерал-майором и командующим 30-й пехотной бригадой. В следующем году его перевели в 1-ю пехотную бригаду. В ходе Первой мировой войны Яманаси командовал 18-й дивизией, участвовавшей в битве при Циндао. В 1916 году он стал генерал-лейтентантом, в 1921-м — полным генералом.
С 1921 по 1923 годы Яманаси был министром армии в кабинетах Хары Такаси, Такахаси Корэкиё и Като Томосабуро.
В 1927 году он ушёл в отставку с действительной военной службы. С 1927 по 1929 годы он был генерал-губернатором Кореи. Его правление часто рассматривается как возврат к политике Тэраути Масатакэ и Хасэгавы Ёсимити.