Сын Публия Муция Сцеволы, также известного юриста, консула 133 года и великого понтифика.
В 106 году был народным трибуном, в 104 году — эдилом. В 95 году Сцевола стал консулом вместе с Луцием Лицинием Крассом. Во время их консульства был принят lex Licinia Mucia de civibus redigundis — закон, изгонявший из Рима всех находившихся в Риме италиков, которые считались римскими гражданами, но не могли доказать своих прав на римское гражданство.
После окончания срока консульства Сцевола был проконсулом в Азии, где он упорядочил деятельность откупщиков налогов, зарабатывавших огромные деньги ограблением населения и подрывом доверия к римской администрации, а также принимал меры по созданию провинциальной администрации. Вскоре после возвращения в Рим, Сцевола благодаря своей репутации был избран великим понтификом около 89 года В 80-х годах Сцевола находился в Риме, однако стал одной из последних жертв террора марианцев. В 82 году Гай Марий младший, осаждённый в Пренесте, сумел передать находившемуся в Риме претору Луцию Юнию Бруту Дамасиппу приказ собрать вместе и убить всех своих противников-сенаторов, включая Сцеволу. Сцевола успел выбежать из здания сената, но вскоре был настигнут и убит. Его тело вместе с другими убитыми сенаторами сбросили в Тибр.
Сцевола является автором двух работ по гражданскому праву: обобщающего свода в 18 книгах, в котором изложение было сгруппировано вокруг отдельных вопросов, и краткого руководства в 1 книге. Сцевола часто выступал с речами в суде и, по признанию Цицерона, был очень опытным в вопросах права, а также отличался проницательностью. За его ораторское мастерство, часто применяемое на практике во время судебных заседний, младший современник Сцеволы Цицерон удостоил его характеристики «лучший оратор среди правоведов», в то время как частый соперник Сцеволы в суде Красс был назван Цицероном «лучшим правоведом среди ораторов». Также Цицерон характеризовал Сцеволу как оратора как «самого изящного из немногословных».
Сцевола был приверженцем стоицизма. Он также различал два вида религии: философскую стоическую и помогающую в государственном управлении народную.