Родился 4 августа 1899 года в слободе Кукарка Вятской губернии (ныне - г. Советск Кировской области) в семье кузнеца. В довоенный период находился на партийной и советской работе. С 1925 год жил в Махнево, Шамарах, Первоуральске и Полевском Свердловской области.
В сентябре 1941 года призван в Красную Армию Полевским райвоенкоматом Свердловской области. До лета 1943 года служил инструктором по пулеметному делу в Свердловске, в боевых действиях участвовал с августа 1943 года.
26 сентября 1943 года в бою за деревню Сидоровка и местечко Любеч (ныне - Репкинского района Черниговской области Украины) Александр Иванович, отражая контратаку противника, поддержанную танками, огнем ручного пулемета внес замешательство в ряды следовавших за танками автоматчиков и, воспользовавшись этим, уничтожил 15 немецких солдат. На северной окраине Любеча вывел из строя автомашину с солдатами противника. 28 сентября 1943 года при форсировании Днепра первым ворвался в траншеи противника, огнем своего пулемета подавил 2 неприятельских огневых точки, мешавших форсировать Днепр остальным подразделениям полка. Эти эпизоды службы Жилина стали основанием для его представления к званию Героя Советского Союза. Указ о присвоении Александру Ивановичу Жилину звания Героя Советского Союза с вручением ордена Ленина и медали медали «Золотая Звезда» вышел 15 января 1944 года. Однако, получить награды герой не успел. 6 марта 1944 года Александр Иванович Жилин погиб в бою у села Купель (ныне - Хмельницкого района Хмельницкой области Украины).
Именем героя названы улицы в Полевском и Советске, а также школа в селе Купель.