Родился и вырос в Грозном в семье кузнеца-оружейника (существуют утверждения, что оба родителя его были из аула Старые Атаги, однако по семейной легенде, его отец в раннем детстве был перевезен Шамилем из неизвестного горского аула). По словам внука композитора, певца Муслима Магомаева, национальность его прадеда неизвестна.
Магомаев-старший обучался в Грозненской городской школе, где начал играть на скрипке, затем в Закавказской учительской семинарии в Гори, где среди его однокурсников был Узеир Гаджибеков, ставший впоследствии свояком Магомаева-старшего.
Освоив исполнение на гобое, Магомаев стал солистом семинарского оркестра и иногда выступал с ним как дирижёр. В это же время он активно начинает изучать азербайджанскую народную музыку. Окончив семинарию, начал работать в училище в Ленкорани, где организовывал музыкальные вечера и театральные представления. В 1911 году Магомаев перебрался в Баку, где стал солистом оркестра Азербайджанского музыкального театра, а вскоре — и его дирижёром.
В 1916 году Магомаев сочиняет своё первое крупное сочинение — оперу «Шах Исмаил», ставшую одной из наиболее известных его работ. В первой редакции оперы было много разговорных эпизодов, а музыка была основана на принципах импровизации и мугама, однако во второй и третьей редакциях диалоги были заменены на речитативы. Будучи одним из первых произведений, в которых идеи народной музыки (в частности, импровизации) решены в рамках развитых оперных форм, «Шах Исмаил» стал важной вехой в развитии азербайджанской музыки.
Помимо активной композиторской деятельности, Магомаев также вёл общественную работу: возглавлял азербайджанское отделение Народного комиссариата просвещения, был художественным руководителем музыкального театра, в 1929 году стал музыкальным руководителем Азербайджанского радиоцентра. В 1935 году Магомаеву было присвоено звание Заслуженного артиста Азербайджанской ССР.
Имя Магомаева носит Бакинская Филармония.