Родился 6 ноября 1881 в префектуре Нагано. Получив военное образование в Токио, успешно продвигался по службе:
18 июля 1944 года Ямада вернулся в Маньчжурию в качестве последнего главнокомандующего Квантунской армии. Готовясь к неизбежному вооружённому столкновению с Советским Союзом и осознавая, что помощи из истощённой Второй мировой войной Японии не последует, Ямада пытался усилить свои войска доступными ему средствами, сформировав 8 новых пехотных дивизий и 7 пехотных бригад из слабоподготовленных призывников и добровольцев. В ходе начавшейся 9 августа 1945 года Маньчжурской операции советские войска, обходя хорошо укреплённые районы и уничтожая японские подразделения, не имевшие достаточной поддержки танков и артиллерии, за несколько дней нанесли огромные потери и полностью разгромили оборону противника. После ряда неудачных контратак и оставшегося без ответа предложения о перемирии, 20 августа 1945 года главнокомандующий был вынужден отдать приказ о капитуляции Квантунской армии.
В числе около 600 тысяч японских военнослужащих Отодзо Ямада попал в плен, а затем был доставлен в Хабаровск. 25-30 декабря 1949 года Военный трибунал Приморского военного округа в открытом судебном заседании рассмотрел дело японских военнопленных, в том числе и Ямады. Бывший главнокомандующий Квантунской армии обвинялся в руководстве деятельностью по подготовке бактериологической войны. Его приговорили к 25 годам лишения свободы в исправительно-трудовом лагере. 12 марта 1950 года Ямада Отодзо был доставлен в лагерь N 48 в Чернцах. Через шесть лет, 25 февраля 1956 года, 75-летний Ямада был помилован, а 17 мая отправлен в Японию.
В июле 1950 года по запросу правительства Китайской Народной Республики Ямада и другие бывшие японские военнослужащие были выданы Советским Союзом для привлечения к ответственности за военные преступления, совершённые на территории Китая. Ямада признал, что осознаёт свою ответственность за преступления, совершённые его подчинёнными, и более 5 лет содержался под стражей в городе Фушунь.
В июне 1956 года после объявления амнистии Отодзо Ямада был освобождён от отбывания наказания и репатриирован в Японию. Умер 18 июля 1965 года в возрасте 83 лет.