Александр Карелин в 13 лет (его рост составлял 178 см, вес 78 кг) начал заниматься спортом в родном городе Новосибирске. В 1981 году он записался в секцию классической борьбы при электротехническом институте. Первый тренер Карелина Виктор Кузнецов остался его единственным наставником на всю спортивную жизнь. В 1985 году пришёл первый успех — Карелин стал чемпионом мира среди молодёжи.
В 1982 году он занял 3 место на первенстве города Новосибирска среди юношей, в 1983 — 1 место на первенстве города среди юношей, в 1984 — 1 место на первенстве РСФСР среди юношей (1966-67 г. р.). В 1985 году Карелин одержал победы на Всесоюзном турнире памяти «Молодогвардейцев» среди юниоров (1966-67 г. р), межународном турнире в Белоруссии, на первенстве СССР среди юниоров (1965-66 г. р.), на первенстве мира среди юниоров (1965-67 г. р.). В этом году выполнил норматив мастера спорта международного класса.
В 1986 году Карелин победил на следующих соревнованиях:
Результаты в 1987 году:
В 1988 году, несмотря на сотрясение мозга и высокую температуру, Карелин впервые стал чемпионом СССР. Он впервые выиграл у лидера сборной СССР, чемпиона мира Игоря Ростороцкого. Тренеры сборной не удовлетворились этим результатам и в июле между борцами устроили дополнительный отбор, который выиграл 21-летний Карелин.
В финале Олимпиады в Сеуле Карелин встречался с болгарином Рангелом Геровски. Первый период Александр проиграл 2:3, но в итоге победил за 15 секунд до конца схватки своим любимым приёмом — «обратным поясом» — 4:3.
В 1992 году в финале Олимпийских Игр в Барселоне Карелин чисто выиграл у шведского борца Томаса Юханссона за 19 секунд. В 1993 на чемпионате мира, в первой же схватке с американским борцом Мэттом Гаффари Карелин получил травму: повредил два ребра с правой стороны. Одно — нижнее — оторвалось, другое — рядом с ним — сломалось. Через 20 минут после схватки с Гаффари Карелин вышел на схватку с Юханссоном, который уже знал о его травме. Карелину удалось трижды вытащить его на обратный пояс и бросить со счётом 12:1. В финале победил Сергея Мурейко и снова стал чемпионом мира. В 1994 на чемпионате мира в финале победил Эктора Милана (Куба) — олимпийского чемпиона в весовой категории 100 кг. Кульминацией года был «Матч века» по греко-римской борьбе между сборными мира и России, проходивший в московском спортзале «Дружба». Схватка Карелина с Эктором Миланом закончилась через 1 минуту 29 секунд. Сборная России победила с общим счётом 9:1. В 1995 в финале чемпионата мира Карелин победил Сергея Мурейко. В октябре 1995 года в Новосибирске проходил IV международный турнир на призы Александра Карелина, сам Карелин принял в нём участие. Кульминацией турнира стал поединок между ним и Мэттом Гаффари, который Карелин выиграл с обратным поясом со счётом 10:0. В 1996 в марте на чемпионате Европы в схватке с Василием Дитбелко вновь получил травму — отрыв большой грудной мышцы. Как и три года назад вышел в финал боролся одной рукой и победил Петра Котка (Украина). В Атланте также доминировал даже с незалеченой тяжелейшей травмой. За 2 минуты победил чемпиона Африки Омрана Айари, затем добился «чистых» побед над Юхой Ахока (Финляндия) и Панайотесом Пойкилидисом (Греция). В полуфинале победил Сергея Мурейко со счётом 2:0. Схватка с ним проходила тяжело: острая боль была причиной «неуправляемости руки». На Играх 1996 года в финале Карелин вновь победил Гаффари со счётом 1:0. В 1997 на чемпионате мира в финале Карелин победил Михай Дик-Бардоша (Венгрия) своим обратным поясом со счётом 11-0. В 1998 на чемпионате мира в финале Карелин снова победил Гаффари со счётом 8-0. В 1999 на чемпионате мира в финале Карелин победил Эктора Милана, расцепив его захват, со счётом 3-0. В 2000 на чемпионате Европы в финале Карелин победил Сергея Мурейко со счётом 2-0.
В 2000 году на Сиднейской Олимпиаде в первой схватке Карелину поставили одного из самых сильных соперников — Сергея Мурейко (Болгария). Карелин выиграл эту схватку со счётом 3:0. Во второй схватке Карелин победил сильного Михая Дик-Бардоша (Венгрия) со счётом 2-0. В полуфинале победил Дмитрия Дебелко (Белоруссия). В финале встретился с американским борцом Рулоном Гарднером. Оба периода не выявили победителя и по новым правилам борцов поставили в захват — тот, кто первым выпустит противника, проиграет. В результате со счётом 1:0 победил американский борец, а Карелин проиграл первый поединок за 13 лет и получил серебряную награду 27 сентября 2000 года. После Игр в Сиднее Александр Карелин завершил спортивную карьеру.
Трёхкратный олимпийский чемпион в категории до 130 кг (1988, 1992, 1996), девятикратный чемпион мира (1989—1991, 1993—1995, 1997—1999), двенадцатикратный чемпион Европы, серебряный призёр Олимпийских Игр 2000 года, чемпион мира среди юниоров 1988 года, 13-кратный чемпион СССР, СНГ и России (1988—2001). Был знаменосцем сборной страны на открытии трёх Олимпийских игр 1988 — СССР, 1992 — СНГ, 1996 — России. Два раза был признан лучшим спортсменом России.
Международной федерацией любительской борьбы (FILA) Александр Карелин был назван величайшим борцом греко-римского стиля XX века.
Обладатель приза движения «Фэйр Плэй» за честную игру в спорте, основанного Олимпийским комитетом России, лауреат звания «Сибиряк года», учреждённого «Новой Сибирской газетой» (1993 и 1995).
Кавалер Олимпийского Ордена «Золотая пальмовая ветвь» (2001).
C 1992 года в России проводятся турниры по борьбе на призы Карелина.
Олимпийский чемпион Асланбек Хуштов признавался, что свой коронный приём «обратный пояс» перенял у Карелина.
В 1993 году на чемпионате мира в первой схватке с М. Гаффари А.Карелин повредил два ребра, но через 20 минут опять вышел на ковер с Т. Юханссоном, который уже знал о его травме.
— Мы вышли, и Томас вскоре выиграл у меня первый балл, — рассказал позже Карелин, — когда я наклонился, сломанные ребра заклинило, и я не мог вовремя выпрямиться. Но затем мне удалось трижды вытащить Юханссона на обратный пояс и бросить. Счет стал 12-1. После поединка расдосадованный швед с обидой сказал, что Карелин специально ввел всех в заблуждение - так бороться со сломанными ребрами невозможно.
Александр Карелин закончил Новосибирский автотранспортный техникум, затем Омский институт физической культуры. С 1995 года Александр Карелин - сотрудник налоговой полиции России. Звание: полковник налоговой полиции.
Депутат Государственной Думы РФ (1999, 2003, 2007). Был членом думского Комитета по охране здоровья и спорту, членом Комиссии по геополитике. С декабря 2007 — член Комитета ГД по международным делам.
С 2001 г. Александр Карелин — член Высшего совета партии «Единая Россия».
Герой Российской Федерации (1997), награжден орденами Дружбы народов (1989), Почета (2001), «За заслуги перед Отечеством» IV степени (2008).
Кандидат (1998), доктор (2002) педагогических наук. Диссертации посвящены спортивной тематике.
Почётный житель города Новосибирска.
Все свои победы Александр Карелин посвящал жене Ольге. В его семье трое детей: сыновья Денис и Иван, дочь Василиса. Сын Иван занимается греко-римской борьбой, дочь Василиса — художественной гимнастикой.