После окончания в 1973 Дагестанского государственного педагогического института, работает учителем средней школы в селе Нижнее Инхо Гумбетовского района Дагестанской АССР. Затем переведён на комсомольскую работу и назначен в 1975 вторым секретарём Гумбетовского райкома ВЛКСМ. В конце 70-х направлен в органы КГБ.
С 1977, после окончания Высших курсов КГБ СССР работает в органах государственной безопасности. С 2008 уволен со службы и назначен советником Президента Республики Дагестан и одновременно ответственным секретарём Республиканской антитеррористической комиссии. Так же с 2008 по 2009 секретарь Совета безопасности Республики Дагестан.
16 июля 2009 Указом Президента России Магомедов Али Алиевич назначен министром внутренних дел по Республике Дагестан и оставался в должности до 11 августа 2010.