Член ВЛКСМ с 1927 года. Член ВКП (б) с 1932 года.
Вскоре после рождения вместе с родителями переехал в Гудауту. С 1930 по 1934 год — заведующий организационным отделом Гудаутского райкома ЛКСМ ГССР, заведующий массово-экономического отдела Абхазского обкома ЛКСМ ГССР, заведующий организационным отделом, второй секретарь Абхазского обкома ЛКСМ ГССР, первый секретарь Абхазского обкома ЛКСМ ГССР.
С 1934 по 1937 год — 1-й секретарь ЦК Комсомола ГССР. С 1937 по 1938 год — заведующий молодёжным отделом ЦК ВЛКСМ.
Осенью 1938 года находился под домашним арестом.
С 1938 по 1942 год — управляющий трестом «Грузнефть». С 1942 по 1943 год — военный комиссар управления тыла Закавказского фронта, старший батальонный комиссар, заместитель начальника тыла Закфронта в звании подполковника. С 1943 по 1951 год — 1-й секретарь Сухумского горкома и Абхазского обкома КП(б) Абхазской АССР. В этот период под его руководством была осуществлена работа по застройке города Сухуми. Был сторонником и активным исполнителем выселения греческого населения из Абхазии и конфискации их имущества. С 1951 по 1952 год — 1-й секретарь Кутаисского обкома КП ГССР. С 1951 по 1953 год — член бюро ЦК КП(б) ГССР. С 1952 по 1953 год — 1-й секретарь ЦК КП Грузинской ССР. С 1952 по 1953 год — член ЦК КПСС. С 1952 по 1953 год — член военного совета Закавказского военного округа.
Был вхож к генеральному секретарю ЦК КПСС Сталину. Являлся противником первого заместителя председателя Совета Министров СССР, министра внутренних дел и государственной безопасности СССР Берии (по личному поручению Иосифа Сталина курировал направленное против Лаврентия Берия т. н. «Мингрельское дело»). В 1950-х годах планировался его перевод на партийную работу в Москву.
Почти сразу после смерти Иосифа Сталина, постановлением VIII-го пленума ЦК КП(б) ГССР был снят с поста 1-го секретаря ЦК КП ГССР. Одновременно с этим, на основании опроса был выведен из состава ЦК КПСС, а позднее исключен из КПСС и арестован. После ареста Лаврентия Берия обвинения против Акакия Мгеладзе были сняты. Тогда же он был восстановлен в КПСС, оставшись в политической опале.
С 1953 по 1973 год — директор Бебнисского совхоза-питомника (Кварельский район ГССР; в этот период совхоз считался в республике образцово-показательным хозяйством). В 1973 году 1-й секретарь ЦК КП ГССР Э. А. Шеварднадзе вызволил его из «политической ссылки». С 1973 по 1978 год — управляющий трестом «Грузплодовощ», управляющий трестом овощно-молочных совхозов ГССР, председатель аграрно-промышленно-торгового объединения Министерства сельского хозяйства, заместитель министра сельского хозяйства ГССР.
В различное время являлся депутатом Верховного Совета СССР, ГССР, Абхазской АССР, Тбилисского и Сухумского городских советов. Кавалер двух орденов Ленина, ордена Трудового Красного Знамени, ордена Отечественной Войны 1-ой степени, ордена Красной Звезды, двух орденов «Знак Почёта», бронзовой, серебряной и золотой медалей ВДНХ СССР, а также ряда боевых медалей.
Автор книги «Сталин. Каким я его знал. Страницы недавнего прошлого».