Родился в 1858 году в Москве в семье обрусевших немцев, проживавшей до середины XIX века в Казани. Сын архитектора О. К. Гунста. В 1878 году поступил и в 1888 году окончил Московском училище живописи, ваяния и зодчества (МУЖВЗ) с Малой и Большой серебряными медалями и званием классного художника архитектуры. Во время учёбы состоял помощником при постройке Храма Христа Спасителя и ряда других зданий, одновременно преподавал рисунок в Комиссаровском техническом училище. По окончании МУЖВЗ два года провёл за границей — изучал теорию искусств и деятельность европейских художественных студий в Австрии, Германии и Италии. В 1882 году введён в чин колежского регистратора. С 1882 по 1884 годы Гунст преподавал строительное искусство в старшем классе Реального училища К. К. Мазинга. Член Московского архитектурного общества с 1894 года. В 1896 году был назначен участковым архитектором. Являлся почётным старшиной приюта для грудных детей в Москве.
В 1886 году основал Классы изящных искусств для лиц обоего пола. С 1890 года Классы стали именоваться «Училищем изщных искусств А. О. Гунста». В училище Гунста преподавали: И. И. Левитан, Ф. О. Шехтель, К. М. Быковский, И. П. Машков, А. Н. Померанцев и другие. Сам А. О. Гунст вёл в Училище класс выжигания по дереву и коже и акварель. В 1904 году получил должность сверхштатного техника Строительного отдела Московского губернского правления. В 1905—1906 годах входил в Строительный совет Московской городской управы, являлся участковым архитектором Пречистенского и Хамовнического участков. Являлся основателем ряда обществ: в 1901 году основал Московское художественно-фотографическое общество, в 1913 году — Общество «Московский драматический салон», а в 1916 году — «Лигу любителей сценического искусства». Совместно с Е. Б. Вахтанговым основал Студию драматического искусства, послужившую в дальнейшем основой для Вахтанговского театра. Увлекался художественной фотографией, состоял членом Всемирного фотографического общества — работы Гунста получили премии на Всемирной выставке в Париже. С 1917 года А. О. Гунст служил актёром Малого театра.
Был женат на уроженке Швейцарии Швейцарии Матильды Цезаревны Робер-Нику. Сын — переводчик и редактор Е. А. Гунст. Похоронен в Москве на Ваганьковском кладбище.