Алексей Ягудин начал кататься на коньках в четырёхлетнем возрасте. На международном уровне Алексей начал выступать в 1994 году. В 1996 году он выиграл чемпионат мира среди юниоров. Первым его тренером был Александр Майоров.
После отъезда Александра Майорова в Швецию, Алексей с 12 лет занимался у Алексея Мишина. В 1998 году переехал в США для тренировок у Татьяны Тарасовой, с которой работал вплоть до окончания любительской карьеры в 2002 году.
Первый крупный турнир, выигранный Алексеем — чемпионат Европы 1998 года. На этом чемпионате весь пьедестал был занят российскими спортсменами: вторым стал Евгений Плющенко, а третьим Александр Абт. Месяц спустя Алексей стал пятым на Олимпиаде в Нагано, а на последовавшем чемпионате мира выиграл золотую медаль.
В сезоне 1998/1999 годов Алексей Ягудин продолжил выступать очень успешно. Хоть он и стал вторым после Плющенко на чемпионате России, но опередил того на чемпионате Европы и мира, снова став первым, а также раньше выиграв финал Гран-при. Вообще, интересно, что Алексей Ягудин ни разу не становился чемпионом России, хотя все остальные возможные в фигурном катании титулы ему покорились.
В сезоне 1999/2000 годов Ягудин проигрывает Плющенко финал Гран-при, чемпионат России и Европы), однако выигрывает открытый чемпионат Японии и на чемпионате мира в Ницце он снова первый.
В следующем сезоне Алексей проигрывает Плющенко почти все старты, в которых они участвуют вместе. Тем не менее в следующем олимпийском сезоне Алексей выигрывает все крупные соревнования.
На Олимпийских играх в Солт-Лейк-Сити Алексей завоёвывает золотую медаль. Он был первым фигуристом за 50 предыдущих лет, получившим первые места голосами всех судей в обоих видах программы. А также он получил четыре оценки 6.0 за презентацию, что является лучшим результатом среди победителей на всех Олимпийских играх.
На чемпионате мира 2002 года Алексей стал первым фигуристом, получившим шесть оценок 6.0 (пять за презентацию и одну 6.0 за технику, в короткой программе).
Ягудин решил остаться в любительском спорте и продолжать соревнования, несмотря на подписанный контракт с шоу «Stars on Ice». Однако, в октябре 2002 года, на этапе Гран-при «Skate America», внезапно обострившиеся боли в бедре вынудили его впервые в жизни сняться с соревнований. Выяснилось, что у Алексея имеется врождённый дефект строения бедра, причём на обеих ногах: чашечка сустава не полностью закрывает головку бедра, и от постоянных нагрузок она постепенно деформировалась. От этого спортсмен испытывал постоянные сильнейшие боли. Несмотря на это, в 2003 году Алексей принимает участие в турнирах и выигрывает их. Среди этих соревнований турнир по прыжкам «Top Jumps» и бывший профессиональный чемпионат мира — турнир «Halmark Skaters Championship». Тем не менее, врачебное обследование показывает, что Алексей больше не сможет выступать в «любителях». В ноябре 2003 года Ягудин был вынужден объявить об уходе в «профессионалы».
В шоу «Stars on Ice» и на профессиональных турнирах Алексей выступал через боль и постоянно принимая сильные обезболивающие лекарства. Тем не менее он дважды становился чемпионом мира среди профессионалов. Участвовал во множестве шоу и показательных выступлениях. Уже в статусе профессионала соревновался по новой системе судейства ISU дважды на турнирах Japan Open Figure Skating Team Competition.
В 2007 году Ягудину была сделана операция по замене правого тазобедренного сустава. После этого, воодушевлённый отсутствием боли, Алексей заявил прессе, что хочет вернуться в любительский спорт. Однако этим планам не суждено было сбыться. В процессе подготовки к возвращению Ягудин столкнулся с новыми травмами, на выступлении в Германии он не смог закончить выступление и его унесли со льда. После этого Алексей расстался с мечтой о продолжении любительской карьеры.
Ещё до операции Алексей Ягудин вернулся из США, где проживал последние семь лет, в Россию и поселился в родном Санкт-Петербурге. Участвовал в проектах Первого канала: в 2006 году в шоу «Звёзды на льду» в паре с телеведущей Оксаной Пушкиной, в 2007 в «Ледниковом периоде» с певицей Викторией Дайнеко, а в 2008 и 2009 годах в паре с актрисой Валерией Ланской. В настоящее время участвует в проекте Первого канала: «Лёд и пламень» в паре с Марией Кожевниковой. С 2007 года частый гость в жюри КВН.
В 2008 году сыграл президента РФ в сатирическом спектакле «Каникулы президента», прошедшем на сцене театра Сатиры. Снялся в одной из главных ролей в телесериале о фигурном катании «Жаркий лёд», показанном на Первом канале в 2009 году.
Выступления Ягудина были эмоциональными, с большим количеством связующих элементов. Больше всего Ягудин известен своими «ягудинскими дорожками» — выполняемыми на высокой скорости по замысловатой кривой, с большим количеством зубцовых шагов, сложными движениями рук и корпуса.
«Визитные карточки» Алексея — «Человек в железной маске» (Олимпиада-2002 LP) и «Гонки» (Skate America 2002 SP), ставшая его «лебединой песней».