Алексей Сергеев родился 24 сентября 1954 года в Ленинграде. В 1978 году получил высшее образование в Ленинградском политехническом институте по специальности «инженер-механик».
С сентября 1977 года по май 1981 года занимал должности сначала заместителя секретаря, впоследствии — секретаря комитета ВЛКСМ Ленинградского политехнического института. С мая по сентябрь 1981 года работал вторым секретарём, с сентября 1981 года по апрель 1985 года — первым секретарём Калининского РК ВЛКСМ.
С апреля 1985 года по январь 1989 года занимал должности заместителя начальника цеха, начальника цеха, начальника сборочного производства производственно-технического комплекса Ленинградского оптико-механического объединения.
С января 1989 года по июнь 1990 года работал инструктором, с июня 1990 года по ноябрь 1991 года — заместителем заведующего отделом Ленинградского ОК КПСС.
С декабря 1991 года по февраль 1992 года занимал должность заместителя директора по коммерческим вопросам Ленинградской областной фабрики по пошиву меховых и кожгалантерейных изделий.
В феврале 1992 года стал генеральным директор ЗАО «Сампо» — совместного предприятия на базе ЛОМО.
С 12 января 2004 года по июнь 2006 года руководил администрацией Калининского района Санкт-Петербурга.
В 2006 году получил второе высшее образование в Академии государственной службы по специальности «юриспруденция»
С 28 июня 2006 года по февраль 2009 года был председателем Комитета экономического развития, промышленной политики и торговли Санкт-Петербурга.
С 11 февраля 2009 года по сентябрь 2011 года был вице-губернатором Санкт-Петербурга по вопросам городского хозяйства, жилищной политики, жилищно-коммунального хозяйства, благоустройства, транспорта, связи, энергетики и природопользования.
С 28 декабря 2011 года - Генеральный секретарь — руководитель Секретариата Совета Межпарламентской Ассамблеи государств - участников Содружества Независимых Государств.
Женат. Имеет троих сыновей — Павла, Андрея и Михаила.
10 октября 2009 года автомобиль Audi A8 Алексея Сергеева с номером А-005-АА-98 выехал на встречную полосу в районе 684 километра Московского шоссе с включённым проблесковым маячком, но без сирены и стал причиной лобового столкновения с автомобилем ВАЗ-21099. Водитель Audi не оказал пострадавшему водителю Жигулей помощь и первым делом снял со своей машины номера. Новость о ДТП получила в России широкий общественный резонанс, обнаружилось, что данный автомобиль выезжал на встречную полосу и ранее. Имеются сведения, что снятые с разбитой Audi номера были установлены на другую машину.
13 января 2011 года депутат Госдумы Оксана Дмитриева потребовала возбудить уголовное дело «по факту бездействия и халатности в исполнении своих обязанностей следующих должных лиц: губернатора Санкт-Петербурга В. И. Матвиенко, вице-губернатора А. И. Сергеева, главы Кировского района Санкт-Петербурга А. О. Кондрашова в связи с неудовлетворительной уборкой снега и наледи с кровель Санкт-Петербурга». Поводом послужила гибель 6-летнего ребёнка из-за схода льда с крыши, которой также предшествовали другие смерти, произошедшие из-за плохой уборки города.
Алексей Сергеев награжден орденом Трудового Красного Знамени, Орденом Дружбы народов и другими правительственными наградами.