Родился 6 марта 1921 года в Харькове в семье инженера-металлурга. Брат-близнец математика Исаака Яглома. В 1926 году вместе с семьёй переехал в Москву.
В школьные годы братья Ягломы увлекались историей, философией и математикой. В 1938 году они разделили 1-ю премию на Московской математической олимпиаде школьников, и вместе получили дипломы из рук акад. А. Н. Колмогорова. Позднее, стремясь привлечь более широкое внимание к математике, они вместе издали широко известные и востребованные по сей день книги «Неэлементарные задачи в элементарном изложении» (1954) и «Вероятность и информация» (1973), ставшие мостиком к математике не для одного поколения школьников.
Еще в школьные годы АМ сблизился с А. Д. Сахаровым и навсегда сохранил его дружбу. Позднее активно (вместе с братом) принимал участие в правозащитной деятельности (подписывали многочисленные письма в защиту участников движения, давали и собирали деньги им в помощь, служили связующим звеном для активных правозащитников со своими друзьями за границей, распространяли «самиздат»). АМ отличался широтой интересов и уникальной эрудицией в области всемирной и русской истории, литературы, поэзии, живописи, театрального искусства. В 1938 году братья поступили в Московский университет (МГУ): Исаак на мехмат, а Акива на физфак. Оба посещали лекции и сдавали экзамены на обоих факультетах, получив и математическое и физическое образование. В 1941 году, в самом начале войны, Акивa и Исаак, не окончив университет, подали заявления с просьбой отправить их на фронт и получили направление в Военную Академию, куда их не приняли из-за плохого зрения. В 1942 они вместе с семьей эвакуировались в Свердловск, где окончили 4-й (в годы войны последний) курс Свердловского университета.
По рекомендации Колмогорова оба брата поступили на работу в Главную геофизическую обсерваторию (ГЕОФИАН СССР), эвакуированную из Ленинграда в Свердловск. В 1943 акад. Колмогоров, предложил А. М. переехать в Москву и поступить к нему в аспирантуру Математического института им. Стеклова АН СССР. Здесь А. М. защитил диссертацию на тему «О статистической обратимости броуновского движения», еженедельно участвовал в семинарах Л. Д. Ландау и И. Е. Тамма, вместе с И. М. Гельфандом занимался проблемами теоретической физики, связанными с теорией представлений и с континуальными интегралами. Будущие Нобелевские лауреаты И. Е. Тамм и В. Л. Гинзбург предложили ему работу в теоретическом отделе Физического института АН СССР, но А. М. отказался от этого предложения, когда выяснилось, что при этом надо будет заниматься проблемами, связанными с атомной бомбой. Он резко отрицательно относился к Сталину и созданному им государству. Это мучительное решение означало для него отказ от возможности заниматься теоретической физикой и геофизика приобрела одного из выдающихся ученых, сформировавших ее современное лицо. А. М. ушел во вновь созданную лабораторию атмосферной турбулентности ИТГ АН СССР, руководимую Колмогоровым. Сам он рассматривал это как временное убежище, откуда через год-два вернется к любимой теоретической физике. Но уйти в Физический институт и совсем не заниматься бомбой оказалось невозможным. В результате А. М. проработал в Лаборатории атмосферной турбулентности (сперва в ИТГ, затем в ГЕОФИАН), затем в ИФА) более 45 лет. Кроме постоянной работы в ИФА, А. М. работал и на мехмате МГУ — проф. кафедры «Теория вероятностей», созданной и возглавляемой Колмогоровым, пока не был отстранён от преподавания после того, как подписал (1968) письмо советским властям с требованием освободить из психиатрического госпиталя диссидента математика Александра Есенина-Вольпина. Ограниченные возможности для работы и отъезд детей в США вынудили AM в 1992 переехать в США, где он занял место приглашённого профессора в Массачусетском технологическом институте (MIT) на кафедре «Аэронавтика и космонавтика».
В 1988 году А.М. был удостоен премии имени Лапорта Американского физического общества, а в 2007 году Европейский союз по наукам о Земле присудил ему медаль Ричардсона. Ему должны были вручить эту медаль в апреле 2008 года.
Умер 13 декабря 2007 года в Бостоне, оставив жену, двоих детей и четырёх внуков.
Работы Яглома, посвящённые теоретическим и прикладным проблемам турбулентности и геофизической гидродинамики, способствовали созданию математического аппарата, необходимого для превращения статистической гидродинамики в строгую физико-математическую дисциплину. Он исследовал структуру однородной и изотропной турбулентности в вязкой сжимаемой жидкости (1948 г.), локальную структуру поля ускорений в сильно завихренных («турбулентных») потоках (1949 г.). В этой статье, независимо от В. Гейзенберга, который пришёл к тем же выводам, было доказано, что частотный спектр лагранжевых ускорений в инерционном диапазоне является «белым шумом». Лишь сравнительно недавно экспериментаторы смогли проверить и подтвердить предсказанные результаты. А.М. также получил динамическое уравнение для поля пассивной примеси (1949 г.). Им были детально изучены процессы со стационарными приращениями произвольного порядка, статистически однородные и изотропные, а также локально изотропные скалярные и векторные случайные поля. В 1955 году А.М. защитил докторскую диссертацию «Теория корреляции непрерывных процессов и полей с приложениями к задачам статистической экстраполяции временных рядов и к теории турбулентности». Работы АМ включали также публикации по теории марковских цепей, ветвящихся процессов, и статьи по экстраполяции и фильтрации случайных процессов. Одна из его пионерских статей «Введение в теорию случайных функций» (1952 г. «Успехи математических наук») была дважды (1962, 2004) издана в США как отдельная книга.
В своих работах АМ умел связать теоретические исследования с экспериментальными результатами. Его выдающаяся монография «Статистическая гидромеханика», написанная совместно с А. С. Мониным (2 тома, 1965,1967 гг — в 1971,1975 гг дополнена и переведена на английский и в 2007 переиздана, в 70-x переведена и опубликована на японском языке), заслуженно считается энциклопедией по данной тематике и на долгие годы стала настольной книгой для специалистов всего мира.
Акива Яглом является автором 150 статей и 7 книг. Многие из них них переведены и переизданы на английском и других языках.
Некоторые из них:
Кроме научных трудов, стал вместе со своим братом Исааком Яглом автором нескольких научно-популярных книг, ставших классическими, в том числе и за рубежом.