Родился в Казахстане через несколько дней после отмены постановления о депортации чеченцев. Вскоре после рождения сына семья вернулась в Чечню. После школы служил в армии, затем закончил школу транспортной милиции в Могилёве. В 1984 году начал службу в милиции. Закончил высшую школу милиции в Ростове-на-Дону и получил назначение на должность заместителя начальника отдела транспорта в Чечне. Во время первой чеченской войны присоединился к федеральным войскам и награждён орденом Мужества за защиту Грозного во время его захвата сепаратистами. В апреле 2003 года назначен президентом республики Ахматом Кадыровым на пост министра внутренних дел. 10 ноября 2003 года Ахмад Кадыров вручил ему погоны генерал-майора. После убийства Кадырова 9 мая 2004 года получил поддержку Кремля на выдвижение своей кандидатуры на пост президента. На состоявшихся выборах в августе набрал 85,25 % голосов, опередив остальных 6 кандидатов. Наблюдатели от Евросоюза объявили о грубых нарушениях на состоявшихся выборах.
По мнению многих наблюдателей, во время президентства Алханова в Чеченской Республике фактически сложилось двоевластие: в качестве независимого от президента центра власти выступал Рамзан Кадыров — глава республиканского правительства, сын предыдущего президента Ахмата Кадырова.
15 февраля 2007 года Президент России Владимир Путин принял отставку Алханова. Он был назначен заместителем министра юстиции России.
В апреле 2010 года избран председателем Комитета по этике РФС. 10 августа 2011 года подал в отставку в связи с занятостью на государственной службе.