В 1846 году поступил юнкером на службу в Балтийский флот. В 1849 произведён в мичманы. В 1849—1850 служил на фрегате «Паллада», совершил ряд плаваний в Атлантике и Средиземноморье. Позже служил на фрегате «Цесаревич» и шхуне «Метеор» (Балтийский флот). В 1853 году на транспорте «Двина» отправился в экспедицию на Камчатку. С 1854 — лейтенант. Участвовал в Крымской войне на Балтике. Служил на кораблях: «Святой Георгий Победоносец», «Константин» и пароходо-фрегате «Олаф».
За отличие в военных действиях в 1860 году был произведён в капитан-лейтенанты. Переведён по личной просьбе в 47-й флотский экипаж (Сибирская флотилия). Командовал шхуной «Пурга» в Николаевске-на-Амуре, затем (до 1870 года включительно) — военного транспорта «Маньчжур», на котором в 1860 году доставил в бухту Золотой Рог команду, основавшую порт Владивосток.
С 1864 — капитан 2-го ранга. С 1868 — капитан 1-го ранга. 6 апреля 1878 года произведен в чин контр-адмирала.
В 1886 назначен директором маяков и лоции Балтийского моря. С 1887 года — командир Петербургского порта.
Умер в 1891 в Санкт-Петербурге и похоронен на Новодевичьем кладбище.
В честь А. К. Шефнера назван мыс в заливе Находка и улица во Владивостоке.
Внук А. К. Шефнера — Вадим Шефнер — известный поэт и прозаик.