Родился в 1880 году в семье купца второй гильдии Файвиша (Фёдора Васильевича) Иоффе и домохозяйки Рашели Абрамовны Вайнштейн. Среднее образование получает в реальном училище города Ромны Полтавской губернии (1889—1897), где заводит дружеские отношения со Степаном Тимошенко, связь с которым поддерживает и в зрелом возрасте.
1902 — окончил Санкт-Петербургский Технологический институт. 1905 — окончил Мюнхенский университет в Германии, где работал под руководством В. К. Рентгена и получил степень доктора философии.
С 1906 работал в Политехническом институте, где в 1918 организовал Физико-механический факультет для подготовки инженеров-физиков. В 1911 принял лютеранство для вступления в брак с нееврейкой. Профессор с 1913.
В 1911 году А. Ф. Иоффе определил заряд электрона, использовав ту же идею, что и Р. Милликен: в электрическом и гравитационном полях уравновешивались заряженные частицы металла (в опыте Милликена — капельки масла). Однако эту работу Иоффе опубликовал в 1913 году (Милликен опубликовал свой результат несколько раньше, поэтому в мировой литературе эксперимент получил его имя).
С 1913 по 1915 год читал лекции на Курсах П. Ф. Лесгафта.
В 1913 защитил магистерскую и в 1915 г. докторскую диссертации по физике. С 1918 — член-корреспондент, а с 1920 — действительный член Российской академии наук.
В 1918 создаёт и возглавляет физико-технический отдел при Государственном рентгенологическом и радиологическом институте, являясь также Президентом этого института (директором был профессор Неменов М. И.). В 1921 стал директором Физико-технического института АН СССР, созданного на основе отдела и названного теперь его именем. В 1919—1923 — председатель Научно-технического комитета петроградской промышленности, в 1924—1930 — председатель Всероссийской ассоциации физиков, с 1932 — директор Агрофизического института.
Абрам Иоффе — один из инициаторов создания Дома учёных в Ленинграде (1934). В начале Отечественной войны назначен председателем Комиссии по военной технике, в 1942 — председателем военной и военно-инженерной комиссии при Ленинградском горкоме партии.
В 1944 году А. Ф. Иоффе, в свою очередь, принял участие в судьбе Физического факультета МГУ. От его имени В. М. Молотову было написано письмо четырёх академиков, которое инициировало разрешение противостояния между так называемой «академической» и «университетской» физикой.
В декабре 1950, во время кампании по «борьбе с космополитизмом», Иоффе был снят с поста директора и выведен из состава Учёного совета института. В 1952 году возглавил лабораторию полупроводников АН СССР. В 1954 на основе лаборатории организован Институт полупроводников АН СССР.
Автор работ по экспериментальному обоснованию теории света (1909—1913), физике твёрдого тела, диэлектрикам и полупроводникам. Иоффе был редактором многих научных журналов, автором ряда монографий, учебников и популярных книг, в том числе «Основные представления современной физики» (1949), «Физика полупроводников» (1957) и другие.
Крупнейшей заслугой А. Ф. Иоффе является основание уникальной физической школы, которая позволила вывести советскую физику на мировой уровень. Первым этапом этой деятельности была организация в 1916 семинара по физике. К участию в своём семинаре Иоффе привлёк молодых учёных из Политехнического института и Петербургского университета, которые вскоре стали его ближайшими соратниками при организации Физико-технического института. По инициативе Иоффе начиная с 1929 были созданы Физико-технические институты в крупных промышленных городах: Харькове, Днепропетровске, Свердловске и Томске. За глаза и ученики, и другие коллеги с любовью и почтением называли Абрама Фёдоровича «папа Иоффе».
Под руководством А. Ф. Иоффе начинали свою научную деятельность будущие Нобелевские лауреаты П. Л. Капица, Н. Н. Семёнов, Л. Д. Ландау, работали крупнейшие учёные А. П. Александров, А. И. Алиханов, Л. А. Арцимович, М. П. Бронштейн, Я. Г. Дорфман, Я. Б. Зельдович, И. К. Кикоин, Б. П. Константинов, И. В. Курчатов, И. Е. Тамм (также будущий лауреат Нобелевской премии), Я. И. Френкель, Ю. Б. Харитон и многие другие.
А. Ф. Иоффе скончался в своём рабочем кабинете 14 октября 1960 года. Похоронен на Литераторских мостках Волкова кладбища, на его могиле установлен памятник работы М. К. Аникушина.
Известны живописные, графические и скульптурные портреты А. Иоффе, исполненные в разные годы ленинградскими художниками и скульпторами, в том числе М. К. Аникушиным (1970).
Широкой массе простых трудящихся имя академика Иоффе известно благодаря песне В. С. Высоцкого «Утренняя гимнастика»: