Родился в феврале 1808 года. Воспитывался в Морском кадетском корпусе, куда поступил 21 апреля 1821 года, выпущен мичманом 18 апреля 1824 года.
Прослужив 4 года на Балтийском флоте, Панфилов отправился на три года в Средиземное море, где поступил на корвет «Наварин» под команду П. С. Нахимова, с которым с этого времени и проходил всю службу до конца его дней.
В 1834 году Панфилов был переведён по собственному желанию в Черноморский флот и в 1835 году в чине лейтенанта (произведён в 1830 году) командовал тендером «Луч». После двухлетнего плавания в Архипелаге, Панфилов поступил на службу на Кавказский берег в звании дежурного штаб-офицера и в течение десяти лет участвовал в занятии мест кавказского берега, лично распоряжался десантами и амбаркациями для укрепления возникшей Черноморской береговой линии, причём особенно отличился в деле с горцами 3 октября 1838 г. при высадке десанта в Субаши на Кавказе, за что произведён в капитан-лейтенанты.
За отличие же произведён в 1841 году в капитаны 2-го ранга. 26 ноября 1848 года награждён орденом св. Георгия 4-й степени «За беспорочную выслугу 25 лет в офицерских чинах» (№ 7949 по списку Григоровича—Степанова).
По возвращении, в конце сороковых годов с Кавказа в чине капитана 1-го ранга (старшинство с 1845 г.) Панфилов был назначен командиром одного из лучших тогда кораблей «Двенадцать апостолов», который он принял от В. А. Корнилова; на нём в 1850 г. провёл пять суток великий князь Константин Николаевич, обративший внимание на образцовый порядок, найденный им на корабле.
В 1853 году Панфилов был произведён в контр-адмиралы и назначен командиром 1-й бригады 4-й флотской дивизии и на том же корабле принимал блестящее участие в Синопском бою, за отличие в котором награждён орденом св. Владимира 3-й степени с мечами.
Перед началом Восточной войны, имея свой флаг на том же корабле, Панфилов совершил с сентябре в эскадре Нахимова одну из крупнейших перевозок войск морем для того времени — из Одессы на Кавказский берег было переброшено и высажено 19000 человек. Во время начавшейся Крымской кампании Панфилов был послан с эскадрой из пароходов снять гарнизоны черноморской береговой линии и сжечь и уничтожить сами укрепления, что и было исполнено им в виду английских и французских крейсеров, с которыми 3 июня 1854 года Панфилову пришлось иметь дело, с честью им выполненное, несмотря на неравенство сил.
Во время обороны Севастополя Панфилов командовал 3-м отделением оборонительной линии, где в течение девяти месяцев, днём и ночью, неустанно укреплял разрушаемое неприятелем и геройски отражал атаки противника.
В ноябре 1854 года за службу на Севастопольских бастионах Панфилов был награждён орденом св. Георгия 3-й степени; кроме этой награды, он получил золотую, осыпанную бриллиантами саблю с надписью «за храбрость», за отбите штурма 6 июня 1855 года.
Также он наряду с генералом Хрулёвым являлся главным героем отбития штурма 27 июня. После смерти адмирала Нахимова Панфилов занял его пост — помощника начальника гарнизона и был произведён в вице-адмиралы с назначением начальником 5-й флотской дивизии. При отступлении наших войск на Северную сторону, Панфилов оставил Севастополь последним (за что получил орден св. Анны 1-й степени с короной. На Северной стороне он был назначен начальником укреплений в звании командира Севастопольского порта. Затем Панфилов отправился в Николаев для представления императору Александру II, а когда в сентябре в Николаев были переведены морские команды, Панфилову была поручена оборона этого города.
Назначенный в 1856 году губернатором и начальником морской части Николаева, он обратил особое внимание на многочисленных больных, очень плохо и тесно помещённых, вследствие чего смертность доходила до 3500 человек в месяц.
Он устроил госпиталь из местного канатного завода, часть размещавшихся в землянках ратников взял к себе, часть приказал взять своему начальнику штаба Г. И. Бутакову, а остальных всех разместил между обывателями. Благодаря этим мерам и заболеваемость, и смертность значительно уменьшились.
Пробыв затем некоторое время главным командиром Свеаборгского порта, Панфилов 17 апреля 1858 года был назначен членом Адмиралтейств-совета, а 1 января 1866 года произведён в полные адмиралы. Александр Иванович скончался в Санкт-Петербурге 13 мая 1874 года, похоронен на Смоленском кладбище.