Дважды — в 1935 и 1937 г. — арестовывался органами НКВД за антисоветские высказывания в кругу молодежи (в частности, неоднократно и прямо высказывался за то, что Сталина нужно убить), что не помешало ему в дальнейшем служить в центральном аппарате НКГБ и МГБ СССР. . По некоторым источникам, был выпущен благодаря стараниям его матери — вдовы Якова Свердлова. Но, возможно, всё объяснялось тем, что его роль в этих инцидентах была заранее определена (его подозревали в провокаторстве).
В 1937—1938 гг. занимал высокий пост в ОГПУ-НКВД, участвовал в проведении репрессий, по свидетельствам ряда своих подследственных (в частности, Анны Лариной, жены Н. И. Бухарина), активно применял пытки и издевался над своими бывшими приятелями, попавшими к нему на допрос в качестве «врагов народа». Принимал участие в допросах и Ариадны Эфрон — дочери поэтессы Марины Цветаевой:
В октябре 1951 г. полковник А. Я. Свердлов был опять арестован и обвинен в том, что «вынашивал антисоветские убеждения, находился в преступной связи с особо опасными преступниками и как их сообщник проводил подрывную деятельность, направленную против ВКП(б) и Советского государства».
После смерти Сталина в 1953 г. выпущен, так как следователь Михаил Рюмин, раскручивавший дело врачей, был репрессирован Л. Берией, а само дело закрыто.
В дальнейшем работал в 4-ом секретно-политическом отделе управления МВД СССР, потом в Институте Марксизма-Ленинизма при ЦК КПСС (кандидат исторических наук).
В соавторстве со своим коллегой Яковом Матусовым (под псевдонимами Александра Яковлева и Якова Наумова) написал две шпионские повести — «Двуликий Янус» и «Тонкая нить». Впоследствии уже под своим именем написал повесть «Схватка с оборотнем», изданную в 1975 году.
Похоронен на Новодевичьем кладбище в Москве.
Жена — Нина Николаевна Подвойская (1919—1996), дочь Н. И. Подвойского.
Сын — Яков Андреевич Свердлов (род. 10.11.1957). Генеральный директор ООО «ТОЧКА ЗРЕНИЯ».
Дочь — Елена Андреевна Свердлова.