Родился в семье военного, его отец — офицер, принимал участие в обороне Севастополя 1854—1855 гг. Среднее образование получил в Пермской классической гимназии, которую окончил с серебряной медалью.
В 1883 году поступил в Казанский университет на медицинский факультет, но уже на следующий год перевёлся на естественное отделение физико-математического факультета.
В 1888 году окончил университетский курс со степенью кандидата естественных наук. Его дипломным сочинением был «Очерк растительности окрестностей города Красноуфимска Пермской губернии». В течение последующих трёх лет по поручению Общества естествоиспытателей занимался почвенными и ботаническими исследованиями в Казанской губернии.
После окончания курса А. Я. Гордягин с 1889 по 1891 годы находится при Казанском университе в качестве профессорского стипендиата по кафедре ботаники.
В 1891 году он был утвержден в качестве приват-доцента Казанского университета по систематике высших растенийи и с осени того же года вел практикум по систематике семенных растений. Одновременно с 1891 до 1898 года занимал должность хранителя музея при Ботаническом кабинете. С 1897 года читал курс анатомии и физиологии растений.
В 1892—1901 годы в летние месяцы Андрей Яковлевич занимался ботанико-географическими исследованиями на Среднем Урале и в Западной Сибири. Итоговым результатом этих исследований стала магистерская диссертация «Материалы для познания почв и растительности Западной Сибири», которую он защитил в Казанском университете в мае 1901 года. Научная ценность этой работы была признана настолько высокой, что ему сразу были присуждены степень доктора ботаники (минуя степень магистра) и серебряная медаль им. Н. М. Пржевальского от Русского географического общества.
С сентября 1901 года Андрей Яковлевич был утвержден экстраординарным профессором по кафедре физиологии растений Казанского университета, с августа 1903 года — ординарным профессором по кафедре ботаники, заведующим Ботаническим кабинетом, а в 1908?1909 годах еще и заведующим Ботаническим садом.
В начале июня 1902 года А. Я. Гордягин совместно с энтомологом М. Д. Рузским совершили краткую экскурсию на гору Большое Богдо (Астраханская область, дельта Волги). Через три года Гордягин опубликовал работу «Поездка в Астраханскую пустыню» (1905), в которой впервые была предпринята попытка обобщить все имевшиеся на тот момент данные о флоре г. Большое Богдо, чтобы в будущем можно было оценить изменения этой флоры. В конце работы Гордягиным приводится «Перечень растений горы Б. Богдо» (170 видов), основанный не только на собственных сборах (82 вида), но и на литературных данных, содержащихся в работах Палласа, Клауса, Ауэрбаха, Беккера, Пачоского, Шмальгаузена, а также на гербарных сборах Эверсманна, Вагнера, Р. В. Ризположенского и Келлера.
В начале XX века вокруг А. Я. Гордягина организуется круг «старшего поколения» его университетских учеников, многие из которых в дальнейшем стали крупными учеными: Н. А. Буш, Б. А. Келлер, В. Р. Заленский, В. И. Талиев, И. И. Спрыгин, Д. Е. Янишевский, В. И. Смирнов.
В июле 1909 года А. Я. Гордягин был переведен ординарным профессором на медицинский факультет Саратовского Императорского университета, который был еще в стадии организации и возглавил кафедру ботаники.
Первый ректор университета профессор В. И. Разумовский впоследствии писал: «Видный ученый, опытный профессор, прекрасный преподаватель, он мне казался необходимым также и для поддержания добрых старых академических традиций в новом Университете, — и эту роль он несомненно выполнил потом».
В Саратове А. Я. Гордягин много усилий затратил на оборудование новой кафедры, на налаживание учебной и научно-исследовательской работы. Будучи членом Правления университета, он принял самое активное участие в организации становления всего университета, а также провел большую работу, как член строительной комиссии по возведению корпусов университета.
А. Я. Гордягин с первых же дней работы в Саратове занялся исследованием местной флоры. Основным направлением его работы и работы возглавляемой им кафедры были ботаническая география и фитоценология. За пять лет пребывания в Саратове он опубликовал 5 работ по Diplachne и клейстогамным злакам (1913), а также дал первый обзор русской биометрической литературы и обстоятельную рецензию на книгу П. В. Сюзева «Конспект флоры Урала» (1914). Эти работы были весьма актуальны тогда и не потеряли своего значения и сегодня.
Кроме работы на кафедре ботаники в Саратовского Николаевского университета, А. Я. Гордягин большое внимание уделял высшим сельскохозяйственным курсам (с 1922 года Саратовский сельскохозяйственный институт), в организации которых он активно участвовал, а после открытия в 1913 году стал их директором, членом Педагогического совета и первым заведующим кафедры ботаники.
Саратовских студентов поражало в А. Я. Гордягине то, как он легко читал лекции, образно раскрывал перед ними огромный мир растений. Убежденный в том, что «профессор не должен быть граммофоном», в одном из писем он писал: «Всегда… я разговаривал со своими слушателями и учениками не в пределах учебников, а и о том, как мне самому — часто вздорно — представляется тот или иной вопрос. Это обыкновенно оказывает влияние на слушателей».
В Саратове он проработал недолгих пять лет. Против своей воли был перемещен министром народного просвещения Л. А. Кассо обратно в Казанский университет. Теплые проводы А. Я. Гордягина из Саратова совпали с 25-летним юбилеем его научно-педагогической деятельности. В эти годы он был награжден орденами святой Анны (2 степени) и святого Владимира (4 степени). До конца своих дней он состоял в Саратове членом двух научных обществ.
В Саратовском университете вокруг А. Я. Гордягина сформировалась группа учеников, многие из которых также в дальнейшем стали известныим учеными: А. М. Левшин, В. Р. Заленский, М. В. Алесковский, А. Я. Пономарев, В. И. Баранов, В. А. Крюгер, И. Г. Бейлин, В. И. Иванов и др.
В 1922 году А. Я. Гордягин писал: «К сожалению, внезапное перемещение меня летом 1914 года из Саратовского университета в Казань положило конец моей работе над Halobyscus Jaczewskii, ибо в Казани я оказался лишенным собственной лабораторной обстановки, а начавшаяся война и революция не позволяли создать новую».
В 1929 году за выдающиеся научные заслуги избран членом-корреспондентом АН СССР и ему присвоено почетное звание Героя Труда.
А. Я. Гордягин был замечательным педагогом и после 1917 года в Казанском университете в процессе масштабных территориальных геоботанических исследований вокруг него сформировалось третье, «младшее», поколение его учеников: М. В. Марков, В. И. Баранов , Л. Н. Васильева, В. С. Порфирьев, В. Д. Авдеев, В. С. Корнилова, Г. А. Благовещенский, С. А. Маркова, А. Д. Плетнева-Соколова, Н. М. Кузнецова, М. И. Замараева (Фирсова) и др.