Сугияма происходил из бывшей самурайской семьи из Кокуры (на территории современного Китакюсю) префектуры Фукуока. В 1901 году, после выпуска из Рикугун сикан гакко, он был призван в армию в звании лейтенанта, участвовал в русско-японской войне.
В 1910 году Сугияма завершил обучение в Рикугун дайгакко и стал служить при генеральном штабе. В 1912 году стал военным атташе на Филиппинах и в Сингапуре, в 1913 году был произведён в майоры, в 1915 году стал военным атташе в Британской Индии. В этот период жизни ему довелось посетить Германию, и он был свидетелем применения авиации в Первой мировой войне.
По возвращении в Японию Сугияма был произведён в подполковники и стал в декабре 1918 года командующим 2-м воздушным батальоном. Он был активным сторонником военной авиации, и после производства в полковники в 1921 году стал в 1922 году первым главой ВВС Императорской армии Японии.
В мае 1925 года Сугияма был произведён в генерал-майоры, а с июня 1930 года стал исполняющим обязанности заместителя министра армии. В августе он официально стал заместителем министра армии и был произведён в генерал-лейтенанты. В феврале 1932 года он принял командование 12-й пехотной дивизией, а в марте 1933 года вновь стал командующим сильно выросшими к тому времени Императорскими ВВС. В ноябре 1936 года он был произведён в генералы.
Вскоре после инцидента 26 февраля Сугияма стал министром армии. Под его руководством обстановка в северном Китае обострилась, приведя к инциденту на Лугоуцяо и вторжению в провинцию Шаньси. Некоторое время Сугияма пробыл фронтовым генералом, командуя Северо-Китайским фронтом и Гарнизонной армией во Внутренней Монголии.
По возвращении в Японию в 1939 году Сугияма на короткое время стал главой храма Ясукуни. 3 сентября 1940 года он сменил престарелого принца Котохито из линии Канъин на посту начальника генерального штаба. Сугияма был одним из тех высших офицеров, кто выступал за войну с западными державами и экспансию в Юго-Восточную Азию.
В 1943 году Сугияма получил почётное звание фельдмаршала. 21 февраля 1944 года он был сменён на посту начальника генерального штаба генералом Хидэки Тодзио, получив взамен назначение на пост главного инспектора боевой подготовки. После отставки Тодзио в июле 1944 года Сугияма вновь стал министром армии. В июле 1945 года ему было предложено принять на себя руководство Первым командованием, предназначенным для обороны Японских островов от вторжения Союзников.
Через десять дней после капитуляции Японии Сугияма, завершив приготовления к окончательной ликвидации Императорской армии Японии, как того требовали победившие Союзники, совершил самоубийство, выстрелив себе за рабочим столом четыре раза в грудь из револьвера.