Аоки Сюдзо родился 3 марта 1844 года в княжестве Тёсю, современном городе Санъёонода префектуры Ямагути, в семье сельского врача. В молодости он изучал западные науки в Нагасаки и в течение 3 лет стажировался в Германии.
В 1873 году Аоки Сюдзо был назначен первым секретарём Министерства иностранных дел Японии. В следующем году его назначили официальным послом в Германии. После возвращения в 1885 году, Аоки занял должность помощника министра иностранных дел, в 1886 году — должность заместителя министра.
Вскоре, в 1889 году, его назначили министром иностранных дел Японии. Аоки Сюдзо поддерживал дружеские отношения с Британией для сдерживания колониальных амбиций России в Азии. Он направлял свои усилия на пересмотр неравноправных договоров Японии с западными государствами, которые предоставляли иностранцам право экстерриториальности и льготы в торговле. Однако в 1891 году, накануне подписания новых договоров, выгодных для Японии, Аоки был вынужден уйти в отставку из-за инцидента в Оцу.
В 1892 году экс-министр был назначен официальным послом в Германии и Британии. На этом посту ему удалось подписать Японо-британский договор о торговле и навигации 16 июля 1894 года, который отменил старый неравноправный договор.
В 1898 году Аоки Сюдзо повторно занял кресло министра иностранных дел. Находясь на посту, он успешно выполнил миссию посредника между западными государствами и китайским правительством во время Ихэтуаньского восстания 1900—1901 годов.
С 1906 года Аоки работал послом в США, но был уволен с этой должности за самовольное вмешательство в проблемы эмигрантов. После этого его назначили советником Тайного Совета при императоре Японии и наградили титулом виконта за заслуги. Он был германофилом, ратовал за введения в Японии элементов прусской системы управления и способствовал распространению прогерманских настроений среди дипломатического корпуса Японии.
Аоки был сторонником силовой дипломатии, поддерживал вмешательство японского правительства в Корее и предлагал утверждать японские позиции на материке после русско-японской войны.
Аоки Сюдзо умер 16 февраля 1914 года.