Родился в семье еврея-лавочника в местечке Чечерск Гомельской губернии, окончил 4 класса городского училища, в 1912 году вступил в партию эсеров, работал конторщиком в Гомеле на лесном складе Левина, вёл революционную деятельность.
В 1915 году вступил в РСДРП, в апреле 1915 арестован и сослан в Енисейскую губернию. В 1917 секретарь Полесского обкома РСДРП, в 1918—1919 секретарь Совета Народных Комиссаров РСФСР.
В мае 1919 направлен на работу в ЧК особоуполномоченным Особого отдела ВЧК, с 1921 секретарь Малого Совнаркома и особоуполномоченный секретно-оперативного управления ВЧК, руководил расследованием обстоятельств Кронштадтского восстания, крестьянского восстания Антонова, дела «Петроградской боевой организации В. Н. Таганцева» и других дел.
По поручению В.Ленина и Ф.Дзержинского Агранов составлял списки лиц, подлежащих высылке из РСФСР (таких как Н. Бердяев, Н. Лосский, М. Осоргин и другие), с 1922 года он был начальником Особого бюро ОГПУ по административной высылке «антисоветских элементов».
С 1923 он заместитель начальника, в 1929—1931 начальник Секретного отдела ОГПУ СССР. «Курировал» творческую интеллигенцию, дружил со многими знаменитыми писателями, поэтами, артистами. Близкий знакомый Владимира Маяковского (Леф), Леопольда Авербаха (РАПП), Бориса Пильняка (Российский союз писателей). В 1927 году награждён орденом Красного знамени.
С марта по сентябрь 1931 — начальник Секретно-политического отдела ОГПУ СССР. С сентября 1931 по февраль 1933 — полпред ОГПУ СССР по Московской области.
В феврале 1933 назначен заместителем председателя ОГПУ СССР (Г.Ягода), а в июле 1934 после создания НКВД СССР первым заместителем наркома внутренних дел СССР (Г.Ягода). Фактически руководил работой всех оперативных отделов Главного Управления Государственной Безопасности НКВД СССР.
В феврале 1934 года на XVII съезде ВКП(б) был избран членом Центральной ревизионной комиссии ВКП(б).
В декабре 1934 Агранов руководил следствием по делу об убийстве С.Кирова и был назначен временным (одна неделя) начальником Управления НКВД Ленинградской области. Вместе с Генрихом Ягодой Агранов был одним из организаторов процесса над Г. Е. Зиновьевым и Л. Б. Каменевым. Именно Агранов готовил материалы для главных политических процессов 1930-х годов.
С лета 1935 года проживал в Кремле (Кавалерийский корпус, бывшая квартира А. С. Енукидзе), дача в Зубалово. В 1937 году московская квартира на улице Мархлевского, дом 9 (дом начальствующего состава НКВД).
С приходом на должность главы НКВД Н. И. Ежова в сентябре 1936 Агранов первоначально сохранил свой пост 1-го заместителя наркома внутренних дел, а в декабре 1936 был к тому же официально назначен начальником ГУГБ НКВД СССР. Принял активное участие в подготовке процесса «Параллельного антисоветского троцкистского центра», следствии по делу Рютина и других членов рютинской оппозиции.
15 апреля 1937 года понижен в должности до заместителя наркома внутренних дел — начальника 4-го отдела ГУГБ НКВД СССР. 17 мая 1937 Агранов был смещён и с этих постов и направлен на пост начальника Управления НКВД Саратовской области. В июле 1937 исключён из партии.
20 июля 1937 арестован. Расстрелян 1 августа 1938 по приговору Военной коллегии Верховного суда СССР на Коммунарке.
Его жена Валентина Александровна (до замужества Кухарева), арестованная одновременно с ним, 26 августа 1938 была приговорена к расстрелу, расстреляна в этот же день. В 1957 году реабилитирована полностью.
Ходатайство о пересмотре дела и посмертной реабилитации Агранова было отклонено Главной военной прокуратутой СССР в 1955 году, как замешанного в организации массовых репрессий.