Анатолий Шпак окончил Ростовский государственный университет в 1971 году по специальности материаловедение, поступил в Институт металлофизики им. Г. В. Курдюмова, где с 1985 года заведует лабораторией, с 1996 года — отделом спектроскопии поверхности твёрдого тела. С 2002 года — директор института.
С 1998 года также заведует кафедрой прикладной физики физико-технического факультета НТУУ КПИ,
С 1977 года работает в аппарате Президиума АН УССР. С 1993 года — главный учёный секретарь НАН Украины, с 1998 года — первый вице-президент НАН Украины.
Анатолій Петрович Шпак — автор нескольких сотен научных работ. Он является главным редактором научных журналов «Металлофизика и новейшие технологии», «Успехи физики металлов» и сборника научных работ «Наносистеми, наноматеріали, нанотехнології»; членом редколлегий научных журналов «Вісник НАН України», «Доповіді НАН України», «Искусственный интеллект», «Наука та наукознавство», «Наукові вісті Національного технічного університету України „Київський політехнічний інститут“», «Фізика і хімія твердого тіла» и «Украинского реферативного журнала „Джерело“».
На основе фундаментальных исследований атомной и электронной структуры низкоразмерных систем Анатолием Шпаком были разработаны физико-химические основы нового научного направления — кластерного материаловедения.