Родился в Воскресенске. Начинал в местном «Химике», где регулярно играл в 1995-98 годах. Затем перешел в московское «Динамо», где провел еще два сезона, и тогда же на драфте НХЛ был выбран «Монреалем» под общим 162 номером.
Несмотря на то, что Марков постепенно переквалифицировался из центрфорварда в атакующего защитника, его результативность росла с каждым годом: в сезоне-1999/00 всего за 29 игр он смог записать на свой счет 11 голов и 12 передач.
Став лучшим хоккеистом России 2000 года, Андрей Марков переезжает за океан. Если в первые два сезона он еще осваивался в американском хоккее и даже провел пару десятков игр в квебекском фарм-клубе, то с сезона-2003/04 стал одним из лучших защитников Монреаль Канадиенс.
Во время локаута Марков играл за московское «Динамо» и помог ему стать чемпионом России. На его счету в том сезоне — 23 очка в 42 играх регулярного чемпионата и 2 гола в плей-офф.
В сезоне-2005/06 защитник набирает 46 (10+36) очков, затем — 49 (6+43), и, наконец, 58 (16+42). Сезон-2007/08 вообще стал для него пока что лучшим в карьере: Марков впервые вышел на лед в Матче всех звезд, а также добился громких успехов на международном уровне.
Андрей Марков играл за сборную России на чемпионатах мира 1999, 2000, 2005 (бронза), 2007 (бронза) и 2008 (золото) годов. На ЧМ-2007, набрав 8 очков в 8 играх, получил звание лучшего защитника турнира.
16 июня 2010 года получил канадский паспорт.
В сезоне 2010-2011 Марков провел всего 7 игр. 13 ноября в столкновении с капитаном Каролины Харрикейнз, Эриком Стаалом получил тяжелую травму колена. На полное восстановление у игрока ушло почти полтора года. Следующую свою игру он провел 10 марта 2012 года против Ванкувер Кэнакс.
В 1999 году в финале Евролиги забил гол магнитогорскому Металлургу через всю площадку и сравнял счет за 8 секунд до конца матча. Однако это не спасло тогда Динамо от поражения. Считает этот момент лучшим в своей карьере на 2001 год.