Родился в июле 1898 года в с. Парафиевка Борзнянского уезда Черниговской губернии в семье железнодорожного кондуктора. Учился в гимназии в Андижане (Туркестан), работал на хлопковом заводе. В 1916 был призван в армию, находился на Юго-Западном фронте. В августе 1917 вернулся в Андижан. Участник установления Советской власти в Средней Азии. В 1918—1919 — член, заместитель председателя Андижанского уездного комитета РКП(б). Председатель уездного ревтрибунала.
Служба А А Слуцкого в ЧК началась в 1920. В сентябре 1920 — сотрудник в Ташкентской ЧК.
В 1921 — председатель Пишпекской уездной ЧК, начальник Пишпекского, Скобелевского, Андижанского уездных ЧК, начальник Ташкентской, затем Ферганской областных ЧК
С июня 1922 — председатель Судебной коллегии и зам. председателя Верховного трибунала Туркестанской АССР
С января 1923 — ответственный секретарь 2-го горкома (райкома) Ташкента.
В конце 1920-х годов А. А. Слуцкий был переведён на работу в Москву.
С 1926 года работал в экономическом управлении ОГПУ.
С января 1930 года во внешней разведке — помощник начальника Иностранного отдела (ИНО) ОГПУ А.Х Артузова. В 1931—1933 годах — главный резидент ИНО по странам Европы. Под прикрытием должности сотрудника торгпредства СССР в Берлине выезжал в спецкомандировки, в том числе в США, лично принимал участие в специальных операциях в Германии, Испании, Франции, Швеции. В Испании действовал под псевдонимом «Маркос».
В 1934—1935 годах заместитель А.Х Артузова. С 21 мая 1935 года — назначен начальником ИНО ГУГБ НКВД СССР вместо А.Х Артузова. 26 ноября 1935 года Слуцкому было присвоено звание комиссара государственной безопасности 2-го ранга.
Работа А. А. Слуцкого в экономическом управлении ОГПУ заключалась в ведении промышленного шпионажа. Свой первый орден А. А. Слуцкий получил за операцию по похищению технологии производства шарикоподшипников в Швеции.
Заметную часть работы ИНО ГУГБ НКВД под управлением Слуцкого составлял розыск и физическое устранение противников Сталина за границей, в особенности, деятелей Белой эмиграции и сторонников Л. Д. Троцкого. Основные операции этого периода включали:
К лету 1937 года Слуцкий остался единственным начальником отдела Главного управления государственной безопасности, которому удалось сохранить свой пост после смещения Ягоды и прихода в НКВД Ежова.
17 февраля 1938 А. А. Слуцкий внезапно скончался. Внезапная смерть А. А. Слуцкого наступила в кабинете начальника Главного управления государственной безопасности НКВД, М. П. Фриновского. Похоронен на Новодевичьем кладбище в Москве (1 уч. 11 ряд).
По официальной версии смерть произошла от сердечной недостаточности. По другим данным, отравлен по приказу наркома внутренних дел СССР Н. И. Ежова.
Арестованный в 1938 бывший начальник отдела оперативной техники НКВД М. С. Алехин показал, что Слуцкий был отравлен им путем инъекции цианистого калия при содействии Фриновского и Л. М. Заковского. Арестованный в 1939 бывший нарком внутренних дел СССР Н. И. Ежов подтвердил эту версию.