Алексей Васильевич Щербаков родился 1 августа 1924 года в городе Кулебаки (ныне Нижегородской области) в семье рабочего. Русский. Член КПСС с 1944. Окончил 7 классов. Работал на Выксунском металлургическом заводе слесарем.
В Советской Армии с января 1943 года, с этого же времени — на фронте Великой Отечественной войны.
Командир отделения 310-го стрелкового полка (8-я стрелковая дивизия, 13-я армия, Центральный фронт) младший сержант Щербаков отличился при форсировании рек Десна и Днепр. 11 сентября 1943 года его отделение в числе первых переправилось через Десну в районе села Оболонь (Коропский район Черниговской области), а 22 сентября 1943 года через Днепр в район села Навозы (Днепровское, Черниговский район Черниговской области).
Звание Героя Советского Союза присвоено 16 октября 1943 года (медаль № 1818).
В 1944 окончил Черниговское миномётное училище. После окончания училища командовал миномётным взводом; освобождал Польшу, штурмовал Берлин.
Лейтенант Щербаков погиб 24 марта 1946 года в бою с бандеровцами. Похоронен на аллее Героев в городе Ровно (Украина).