Г. А. Ягодин родился 3 июня 1927 г. в с. Большой Вьяс Пензенской области.
В 1950 г. Г. А. Ягодин закончил Московский химико-технологический институт имени Д. И. Менделеева по специальности «инженер-технолог». Избирался секретарем комитета комсомола института, первым секретарем Советского райкома ВЛКСМ г. Москвы. Еще будучи студентом в 1948 г. вступил в ВКП (б). После окончания аспирантуры находился на научно-педагогической работе в МХТИ, затем занимал пост заместителя генерального директора Международного агентства по атомной энергии в Австрии.
В 1966—1973 гг. Г. А. Ягодин являлся доцентом, профессором, деканом факультета в МХТИ, а в 1973 год возглавил этот институт в должности ректора.
В 1985 году Г. А. Ягодин был назначен министром высшего и среднего специального образования СССР. В 1988 году после преобразования трёх центральных министерств - высшего и среднего образования, просвещения и профессионально-технического образования - возглавил Государственный комитет СССР по народному образованию. Спустя три месяца при вновь сформированном комитете при непосредственной поддержке Г. А. Ягодина был создан временный научно-исследовательский коллектив «Базовая школа» (ставший известным как ВНИК «Школа»), который возглавил Э. Д. Днепров. К концу лета 1988 г. коллективом, состоявшим из авторитетных ученых-педагогов, были подготовлены проект нового устава школы и концепция развития образования в СССР, ставившие целью гуманизацию учебно-воспитательного процесса и демократизацию управления учебными заведениями. Эти документы были полностью поддержаны Г. А. Ягодиным и внесены от имени Гособразования СССР на рассмотрение организованного при участии комитета Всесоюзного съезда работников народного образования, прошедшего в декабре 1988 г. В 1989—1991 гг. Г. А. Ягодин и руководимое им ведомство подвергались критике как со стороны сторонников реформ, так и со стороны их противников. Первые считали, что демократизация образования идет недостаточно быстро, вторые — что деятельность Г. А. Ягодина ведет к развалу советской школы.
Одним из первых нововведений Г.А. Ягодина стал вызвавший большой общественный резонанс принятый летом 1988 г. приказ №540, разрешавший переводить из класса в класс и даже выпускать с аттестатом учащихся средней и старшей школы, которые неуспевали по одному или более предметам. Возглавляемое Ягодиным министерство стало одним из инициаторов и организаторов первого в СССР съезда работников образования, прошедшего в декабре 1988 г., на котором получил общественную поддержку, приняты документы ВНИКа.
В течение 1991 г. Г. А. Ягодина три раза отправляли в отставку: в апреле и июле это пытался сделать премьер-министр В. Павлов, а в августе - ГКЧП. Несмотря на это, Ягодин сохранил свой пост вплоть до упразднения Гособразования в связи с коллапсом союзных органов управления. Интересно, что в последний раз решение о возобновлении работы Ягодина на посту главы Гособразования принял премьер-министр РСФСР И. Силаев, что не входило в сферу его компетенции.
С 1991 по 2001 — ректор Международного университета в Москве. Ныне профессор Российского химико-технологического университета им. Д. И. Менделеева.
Г. А. Ягодин — член-корреспондент РАН, действительный член РАО, доктор химических наук (1971), профессор, лауреат Государственной премии СССР, почётный доктор Веспремского химико-технологического университета (Венгрия), Высшей химико-технологической школы (Болгария), Высшей химико-технологической школы (Прага, Чехия), Вроцлавской политехники (Польша), Южно-Корейского университета Кон Хи, Университета Фукуяма (Япония).
Член КПСС с 1948 г.
Женат, имеет двоих детей.