Родился в семье капитан-лейтенанта, впоследствии вице-адмирала, Сергея Фаддеевича Загорянского-Киселя.
22 декабря 1866 года поступил юнкером в Балтийский флот. 10 февраля 1867 года был переведен на Черноморский флот и в 1867-1868 годах плавал по Черному морю на императорской яхте «Тигр». 14 августа 1868 года снова переведен на Балтийский флот. 20 апреля 1869 года произведен в чин гардемарина. В 1869-1871 годах плавал на фрегате «Пересвет» по Балтийскому морю, а на корвете «Львица» по Черному морю.
17 мая 1871 года произведен в чин мичмана, а 2 июля был переведен на Черноморский флот. В 1871-1876 годах на пароходе «Казбек», корвете «Память Меркурия» и на яхте «Ливадия» плавал по Чёрному морю. 31 марта 1874 года произведен в чин лейтенанта, а 1 января 1875 года награжден орденом Св. Станислава 3-й степени.
3 ноября 1876 года назначен в 1-ю Черноморскую партию направляющуюся в действующую армию, 31 декабря назначен квартирмейстером Черноморского флотского экипажа действующего при главной квартире Южной армии. 17 января 1877 года казначеем Черноморского флотского отряда. Весной-летом того же года плавал на минных катерах по реке Днестр и участвовал в минных постановках на реках Прут и Дунай. 28 апреля командовал десантом, в составе трех офицеров, полусотни стрелков и десяти матросов, переправившимся через Дунай на турецкую сторону в Речет, где препятствовал турецким стрелкам стрелять по русским судам ставившим минные заграждения. 1 июня был назначен командиром парохода «Романия» с отчислением от должности квартирмейстера. 10 июня временно командуя пароходом «Стефан-чель-маре» осуществлял перевозку Рижского и Рязанского полков из города Галаца на турецкий берег реки Дунай. 11 июня командуя пароходом «Романия» осуществлял перевозку солдат лейб-Бородинского полка и участвовал в занятии города Мачина. В 1877-1878 годах командуя пароходом «Романия» плавал по реке Дунай в составе судов Черноморского отряда и с 9 августа по 1 сентября – в составе судов нижнее-дунайского отряда под командованием капитана 1-го ранга Н. И. Казнакова. 1 апреля 1878 года отчислен от должности казначея Черноморского флотского отряда. 5 сентября того же года за отличие оказанное при взятии города Мачина и при постановке минных заграждений Аполлинарий Сергеевич был награжден орденом Св. Анны 3-й степени с мечами и бантом.
9 августа 1878 года отчислен от должности командира парохода «Романия», 15 сентября был назначен командиром минного катера «Щука», на котором плавал по Черному морю и рекам Буг и Ингул. В 1879 году на пароходах «Эрклик» и «Пендераклия», корвете «Память Меркурия» и императорской яхте «Штандарт» плавал по Черному морю.
В 1880-1881 годах в должности вахтенного начальника на батарее «Кремль» плавал в Финском заливе, а на корвете «Аскольд» - в заграничном плавании.
В 1882-1885 годах на корвете «Скобелев» участвовал в кругосветном путешествии и в экспедиции к берегам Америки.
26 февраля 1885 года зачислен на оклад по чину капитан-лейтенанта. 18 января 1886 года награжден орденом Св. Владимира с бантом. 13 апреля того же года был произведен в чин капитана 2-го ранга, а 27 июня назначен старшим офицером корвета «Боярин», на котором плавал в составе судов учебного отряда Морского училища.
17 мая 1887 года назначен старшим офицером крейсера «Азия» на котором в 1887-1888 годах плавал в Финском заливе и Балтийском море. 6 февраля 1889 года отчислен от должности старшего офицера крейсера. С 26 марта по 8 сентября того же года занимал должность старшего офицера корвета «Скобелев», на котором плавал в составе судов учебного отряда Морского училища в Балтийском море и его заливах.
18 ноября 1889 года назначен командиром шхуны «Секстан», на которой в 1890-1891 годах плавал в Рижском и Финском заливах.
1 января 1892 года награжден орденом Св. Анны 2-й степени и назначен командиром двухбашенной броненосной лодки «Чародейка», на которой в 1892-1895 годах в составе учебного артиллерийского и практического отрядов плавал в Финском заливе. С 9 мая по 15 августа 1892 года временно исполнял обязанности командира 15-го флотского экипажа. С 13 сентября 1893 года состоял временным членом кронштадтского военно-морского суда.
18 сентября 1895 года назначен командиром канонерской лодки «Грозящий», на которой в 1895-1896 годах находился во внутренних и заграничных плаваниях. 16 сентября 1895 года объявлено Монаршее благоволение, а 6 декабря произведен в чин капитана 1-го ранга.
5 февраля 1896 года, Загорянский-Кисель как выплававший установленный ценз был отчислен от должности командира канонерской лодки, а 22 августа назначен заведующим школой судовых содержателей и временным командиром 14-го флотского экипажа, которым командовал до 21 ноября 1897 года.
В 1897 году являлся членом и председателем различных комиссий и исполнял обязанности члена кронштадтского военно-морского суда.
5 января 1898 года назначен заведующим миноносцами и их командами кронштадтского порта. 13 марта объявлена высочайшая благодарность за труды по всеобщей переписи.
26 апреля 1899 года назначен командиром броненосца береговой обороны «Адмирал Сенявин», на котором в 1899-1901 годах плавал в Финском и Рижском заливах и по Балтийскому морю. 4 июля 1900 года за долговременное командование судами 1-го и 2-го ранга Аполлинарию Сергеевичу было назначено вознаграждение в 540 руб. в год. 1 января 1901 года назначен командиром 2-го флотского экипажа с оставлением в должности командира броненосца и награждением орденом Св. Владимира 3-й степени. Помимо командования броненосцем и экипажем Загорянский-Кисель участвовал в деятельности различных комиссий. 7 января 1902 года был назначен командиром 4-го флотского экипажа и броненосца береговой обороны «Генерал-адмирал Апраксин», на котором плавал по Балтийскому морю в составе учебно-артиллерийского отряда под командованием Свиты Его Императорского Величества контр-адмирала З. П. Рожественоского. 12 августа был награжден прусским орденом Красного орла 2-й степени. 9 сентября того же года назначен командиром 13-го флотского экипажа с оставлением в должности командира броненосца. С 4 по 15 октября и с 2 по 14 ноября временно исправлял должность командира порта Императора Александра III.
6 апреля 1903 года Аполлинарий Сергеевич был произведен в чин контр-адмирала и 14 апреля назначен заведующим флотскими экипажами, расположенными в порте Императора Александра III. С 22 по 28 июля и с 13 по 28 октября временно исправлял должность командира порта Императора Александра III.
5 января 1904 года назначен младшим флагманом 1-й флотской дивизии.
С 26 апреля 1904 года по 2 января 1906 года занимал должность командира Николаевского порта и градоначальника города Николаева. 23 января 1906 года Аполлинарий Сергеевич был произведен в чин вице-адмирала с увольнением от службы.