Родился 6 (18) января 1816 г. Образование получил в частном учебном заведении.
Службу начал в 1831 г. рядовым казаком в Моздокском казачьем полку, откуда, в 1840 г., переведён в Кубанский казачий полк. В 1836 г. Атарщиков был произведён в хорунжие.
Участвуя в беспрерывных экспедициях против горцев, все награды получил за боевые отличия, и, как выдающийся офицер, в 1848 г. зачислен в состав команды линейных казаков Государева конвоя.
В июле 1859 г., назначенный командиром 4-й бригады бывшего Кавказского линейного войска, принял участие в экспедиции того же года по покорению абадзехов и участвовал в экспедиции в верховья р. Фарса на урочище Хамкенты, в 1860 г. содействовал операциям главного Шапсугского отряда и был произведён в полковники.
Затем 1863 и 1864 гг. он провел в Пшехском отряде, имевшем своей задачей окончательное покорение горцев правого фланга Кавказской линии и в марте 1865 г. командирован в Петербург депутатом от войска, для принесения Государю благодарности за пожалование кубанским казакам Всемилостивейшей грамоты. Произведённый, в мае того же года, в генерал-майоры, с окончанием военных действий на Кавказе Атарщиков в 1871 г. зачислен по Кубанскому казачьему войску, а с 1876 г. до кончины своей состоял при Кавказской армии.
Умер 9 (21) февраля 1885 г. Похоронен на кладбище Новодевичьего монастыря в Санкт-Петербурге.