С пяти лет начал заниматься спортивной гимнастикой в специализированной детско-юношеской школе олимпийского резерва Волжского автозавода в городе Тольятти. Учился в 76-й школе.
С 1983 года тренируется у мастера спорта по гимнастике, заслуженного тренера России Евгения Григорьевича Николко. В 1999 году Алексей Немов окончил Тольяттинский филиал Самарского государственного педагогического университета.
Первую победу Алексей Немов одержал в 1989 году на молодёжном первенстве СССР. После удачного старта практически каждый год он стал добиваться выдающихся результатов. В 1990 году Алексей Немов стал победителем в отдельных видах многоборья на Спартакиаде учащейся молодёжи СССР. В 1990—1993 годах он был неоднократным участником международных соревнований и победителем как в отдельных видах программы, так и в абсолютном первенстве.
В 1993 году Немов завоёвывает победу на Кубке РСФСР в многоборье, а на международной встрече «Звёзды мира 94» становится бронзовым призёром в многоборье. Через год Алексей Немов побеждает на чемпионате России, становится четырёхкратным чемпионом Игр доброй воли в Санкт-Петербурге и получает три золотых и одну серебряную медаль на чемпионате Европы в Италии.
На XXVI Олимпийских играх в Атланте (США) Алексей Немов становится двукратным олимпийским чемпионом, получает две золотые, одну серебряную и три бронзовые медали. В 1997 году он завоёвывает золотую медаль на чемпионате мира в Швейцарии. В 2000 году Алексей Немов побеждает на чемпионатах мира и Европы, становится призёром Кубка мира. На XXVII Олимпийских играх в Сиднее (Австралия) Алексей стал абсолютным чемпионом, завоевав шесть олимпийских медалей: две золотые, одну серебряную и три бронзовые.
На Олимпийские игры 2004 года в Афинах Немов приехал в ранге явного фаворита и лидера сборной России, однако полученная перед Олимпиадой травма давала о себе знать, но, несмотря на это, спортсмен показал высокий класс и выступил довольно уверенно. Однако выступление спортсмена было омрачено судейским скандалом: после выступления на перекладине оценки были явно занижены, что не понравилось присутствующим на трибунах олимпийской арены зрителям, которые стоя в течение 15 минут непрекращающимися овациями поддерживали спортсмена, не давая выйти на помост следующему (американскому) спортсмену, пока сам Алексей не вышел, и не попросил зрителей сесть на места. Под давлением судьи пересмотрели оценки, но даже после пересмотра их не хватило для получения медали. После этого случая на Олимпиаде разразился скандал, и некоторые судьи были отстранены от судейства, а спортсмену было принесено официальное извинение.
С 26 июля 2010 года — член Патриаршего совета по культуре (Русская православная церковь)
Член партии «Единая Россия».
В 2000 году в Лондоне ему как лучшему спортсмену планеты вручён спортивный Оскар «World Sports Awards». В том же году Алексею Немову присвоено воинское звание майора Российской Армии.
За выдающиеся спортивные достижения имя Алексея Юрьевича Немова занесено в Книгу Рекордов Гиннеса. В 2008 году на церемонии вручения премии Laureus World Sports Awards Алексею Немову был вручён поощрительный приз.
В 2004 году за благородное и спортивное поведение во время соревнований получил специальный приз CIFP (Международный комитет Fair Play) .
В ноябре 2005 года председатель Олимпийского комитета Польши Пётр Нуровский вручил Алексею Немову награду Fair Play — приз Пьера дэ Кубертена в номинации «За поступок».