Родился 30 января 1862 года.
Образование получил в 3-й Санкт-Петербургской военной гимназии.
В службу вступил 01.09.1881. Окончил 2-е военное Константиновское училище (1883). Выпущен подпоручиком (ст. 12.08.1883) в 11-й пехотный Псковский полк. Поручик (ст. 12.08.1887). Штабс-капитан (пр. 1890; ст. 02.03.1890; за отличие). Капитан (ст. 15.03.1893). В 1894 офицер 7-го Закаспийского стрелкового батальона, расквартированного в городе Мерв в Туркестане.
Участник похода в Китай 1900—1901 годов. Подполковник (пр. 1900; ст. 26.02.1900; за отличие).
Участник русско-японской войны 1904—1905 годов, где в качестве командира 4-го батальона 7-го Красноярского сибирского пехотного полка в отряде генерала Мищенко принял участие в боях у Дашичао, Ляояна, Шахе и Мукдена. Полковник (пр. 1904; ст. 14.06.1904; за отличие).
Командир 13-го Сибирского стр. полка (13.06.1906-02.07.1913). Генерал-майор (пр. 1913; ст. 02.07.1913; за отличие). Командир 1-й бригады 11-й пехотной дивизии (02.07.1913-29.07.1914).
В годы Первой мировой войны 1914—1918 годов Абжолтовскому довелось командовать 1-й бригадой 78-й пехотной дивизии (29.07.1914-26.04.1916), а с 26 апреля 1916 года — 3-й стрелковой дивизией (26.04.1916-1917).
В годы Гражданской войны Абжолтовский — участник Белого движения на юге России в составе ВСЮР. В резерве чинов при штабе Главнокомандующего (с 08.03.1919). С 13 июля 1919 года член военно-полевого суда над генерал-лейтенантом Н. А. Марксом.
Согласно запискам Б. А. Плюцинского, расстрелян, однако в рукописных мемуарах внучки Абжолтовского, Татьяны Сергеевны Погорской, причиной его смерти назван сыпной тиф.