Дэвид начал играть на бас-гитаре, полюбив и приобщившись к тяжелой музыке. Он оттачивал свое мастерство, играя в составе различных групп по клубам всего запада США.
За исключением фронтмена группы — ритм-гитариста и вокалиста Дэйва Мастейна, Эллефсон долгое время оставался несменяемым членом Megadeth с момента основания в 1983 и до временного распада в 2002 году. Он участвовал в записи каждого альбома и во всех турах, начиная со времен выпуска Killing Is My Business... And Business Is Good! и заканчивая Rude Awakening.
Чтобы как-то различать двух Дэвидов, Эллефсона стали называть «Dave Junior» («Дэйв Младший»), что потом переросло в просто «Junior».
Изначально он играл на басу только пальцами, но на протяжении своего существования Megadeth прогрессировали, и их музыка становилась сложнее и техничнее. Тогда Эллефсону пришлось переходить на игру медиатором.
Мастейн воскресил группу в 2004 году для записи альбома The System Has Failed, несмотря на то, что все участники группы, за исключением Криса Поланда (соло-гитарист времен Killing Is My Business… And Business Is Good!), отказались принять участие в процессе записи.
Два Дэвида оспаривали свои права на название «Megadeth», но иск Эллефсона не был удовлетворен судом. Вражда между музыкантами настолько обострилась, что на официальном сайте Эллефсона не оказалось ни строчки про Megadeth в графе «биография», только указаны альбомы в «дискографии».
По словам музыкантов, в настоящее время все наладилось. Мастейн говорит, что ужинал с Джуниором на рождество в 2005 году и они несколько раз говорили по телефону . Эллефсон также подтверждает это и говорит, что если бы Мастейн предложил ему присоединиться к группе, тот бы согласился. . Что и произошло в феврале 2010 — Эллефсон вновь стал басистом в Megadeth.
В 2002 году Эллефсон организовывает группу F5, в состав которой он вошел как басист наряду с Дэйлом Стилом (вокал), Стивом Конли (соло-гитара), Джоном Дэвисом (ритм-гитара) и бывшим ударником Megadeth Джимми Деграссо. Их первый альбом A Drug for all Seasons вышел в 2005 году. В феврале 2006 года группа выступала вместе с Disturbed, а летом отправилась в турне по Западу Америки.
Дэвид также участвовал в записи альбома Metalmorphosis 2006 года группы Killing Machine и альбома Prophecy группы Soulfly, а также принял участие в клипе Prophecy. Также он известен по своей работе с группами Avian и Temple of Brutality.
8 февраля 2010 года на официальном сайте группы появился пресс-релиз, в котором сообщалось, что Эллефсон вернулся в группу.
Дэвид Эллефсон пользуется оборудованием марок B.C. Rich, Jackson Guitars, Modulus Guitars, Fender, DiMarzio, Epiphone, Ovation Guitar Company, Hamer Guitars, Peavey Electronics, Alvarez Guitars, Briarwood, Mackie, DigiTech, Korg, Tech 21, Digidesign, D'Addario, Dunlop Manufacturing, Hartke.