Согласно разным источникам армянин или грузин по происхождению, родился 1 января 1826 года.
По окончании с отличным успехом курса во 2-м кадетском корпусе, где имя его записано на мраморную доску, Алхазов 10 августа 1844 года был произведён в прапорщики лейб-гвардии Финляндского полка и 10 апреля 1848 года в подпоручики. Произведённый 3 апреля 1849 года в поручики Алхазов в том же году участвовал в Венгерском походе. 6 декабря 1853 года получил чин штабс-капитана.
Во время Крымской войны находился в составе войск, охранявших прибрежье Петербургской и Выборгской губерний от высадок союзного англо-французского флота. В 1856 году получил орден св. Станислава 3-й степени, в 1859 году — орден св. Анны 3-й степени и в 1861 году — орден св. Станислава 2-й степени. 30 августа 1860 года получил чин капитана.
В 1863—1864 годах Алхазов, будучи 19 февраля 1863 года произведён в полковники, участвовал в усмирении польского мятежа и за отличия был награждён орденами св. Владимира 4-й степени с мечами и бантом, св. Анны 2-й степени с мечами и императорской короной и св. Владимира 3-й степени.
12 мая 1864 года Алхазов был назначен командиром 4-го пехотного Копорского полка, 30 августа 1873 года произведён в генерал-майоры и назначен командиром 2-й бригады 19-й пехотной дивизии на Кавказ. В 1876 году получил орден св. Станислава 1-й степени.
В русско-турецкую войну 1877—1878 годов Алхазов сначала был назначен начальником Кутаисского отряда (12 апреля 1877 года), а затем соединённых Кутаисского, Сухумского, Ингурского и Гурийского отрядов, с которыми усмирил волнения среди абхазцев и заставил турецкий десант очистить Абхазию и всё Черноморское побережье Кавказа; в воздаяние этих заслуг Алхазов был награждён орденом св. Георгия 4-й степени
За отличную храбрость и распорядительность в делах на р. Галидзге, и у м. Очамчиры получил орден св. Анны 1-й степени с мечами. После отплытия турок с берегов Кавказа Алхазов вошёл со своей бригадой в состав войск, действовавших на Кавказско-турецкой границе, и в сентябре 1877 г. участвовал в трёхдневном сражении на Аладжинских высотах с армией Мухтар-паши. В начале октября Алхазов принял участие во вторичном обложении Карса, командуя сперва Магараджикским и впоследствии Карсским отрядом, а 24 октября руководил усиленной рекогносцировкой юго-восточных фортов Карса. 6 ноября, при штурме этой крепости, он начальствовал над колонной, штурмовавшей форты Хафиз-паша и Карадаг. При взятии первого из этих фортов лично командовал батальоном Кутаисского полка и одним из первых вошёл в Карс. Будучи контужен в левый висок осколком гранаты, Алхазов должен был покинуть театр военных действий до окончания войны, за отличия в которой, кроме названных выше наград, получил 24 октября 1877 года чин генерал-лейтенанта и 19 декабря 1877 года орден св. Георгия 3-й степени № 556.
В Карсе одна из улиц в честь его была названа Алхазовской. Среди прочих наград за эту кампанию Алхазов имел ордена св. Анны 1-й степени с мечами и св. Владимира 2-й степени с мечами.
13 декабря 1878 года Алхазов был назначен начальником 41-й пехотной дивизии, 27 февраля 1883 года получил в командование Кавказскую гренадерскую дивизию, 6 июля 1885 года — 3-й армейский корпус и 30 августа 1891 года был произведён в генералы от инфантерии; 19 октября 1894 года он был назначен членом Военного совета. Скончался 3 ноября 1896 г.
Среди прочих наград Алхазов имел ордена Белого Орла (1882 год) и св. Александра Невского (1889 год, бриллиантовые знаки к этому ордену пожалованы в 1894 году).
Скончался 3 ноября 1896 года в Санкт-Петербурге.