Арсений Яковлевич Щербаков окончил курс на медицинском факультете Казанского университета (1861), где в 1865 году за диссертацию «Продукты пищеварения в крови» (Казань) удостоен степени доктора медицины.
В 1866 году был назначен приват-доцентом Казанского университета, а в 1871 году — профессором физиологической химии там же.
С 1880 до начала 1890 года — исполнял обязанности декана медицинского факультета КУ.
В 1900 году был председателем государственной медицинской испытательной комиссии при Харьковском университете.
Кроме того, состоял преподавателем медицинской химии в Казанском ветеринарном институте.
Арсений Яковлевич Щербаков напечатал ряд статей по своей специальности, помещенных в «Друге здравия», «Военно-медицинском журнале», «Медицинском вестнике», «Архиве судебной медицины» и других, а также издал отдельно несколько книг.
Профессор Щербаков интересовался вопросами земской и городской медицины и санитарии, совместно с другими профессорами-медиками Российской империи занимался разработкой плана организации врачебных участков в Казани и принимал участие в качестве гласного в городских делах.
Арсений Яковлевич Щербаков скончался в 1900 году.