Родился 16 марта 1924 года в селе Болград Генического района Херсонской области Украины в крестьянской семье. Русский.
В Красной Армии с 1943 года, на фронтах Великой Отечественной войны — с ноября 1943 года.
Комсомолец красноармеец Анатолий Щербак особо отличился 13 апреля 1944 года при форсировании реки Днестр севернее города Бендеры, в районе села Бычек Тираспольского района Молдавии. Он первым в полку переправился через Днестр. Обнаружив вражеский пулемёт, он подобрался к нему и уничтожил расчёт. Огнём из захваченного пулемёта Анатолий Щербак отразил вражеские контратаки. По предложению командира полка — майора А. Г. Шурупова — Анатолий Николаевич Щербак был представлен к званию Героя Советского Союза.
После демобилизации А.Н. Щербак жил в городе Бердянск Запорожской области Украины. Работал директором фабрики индивидуального пошива и ремонта одежды.
Скончался 20 января 1976 года. Похоронен в Бердянске.
Указом Президиума Верховного Совета СССР от 13 сентября 1944 года за мужество и героизм, проявленные в борьбе с немецко-фашистскими захватчиками, красноармейцу Щербаку Анатолию Николаевичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 8939).
Именем А.Н. Щербака названа одна из улиц Бердянска. В 2006 году на ней был открыт памятник Герою.
В 2009 году на доме, в котором он жил, установлена памятная доска.