Родился в семье служащего страховой компании. Мать, по воспоминаниям самого Павла Юона, увлекалась искусством — немного пела и музицировала. В силу немецко-швейцарского происхождения учился в немецкой школе в Москве.
Затем учился в Московской консерватории как скрипач (у Ивана Гржимали) и композитор (у Антона Аренского и Сергея Танеева), затем совершенствовал мастерство композиции в Берлине под руководством Вольдемара Баргиля. В 1896—1897 гг. преподавал теорию музыки и скрипку в Бакинской консерватории. Затем вернулся в Берлин, где жил и работал с 1898 по 1934 г., заменив в 1906 г. Йозефа Иоахима в качестве профессора композиции Берлинской Высшей школы музыки. Среди учеников Юона были Штефан Вольпе, Генрих Каминский, Филипп Ярнах, Сергей Каген и др.
После 1917 эмигрировал в Швейцарию.
Композиторское наследие Юона включает оперу «Алеко» (1896), четыре симфонии, три скрипичных концерта, тройной концерт для фортепиано, скрипки и виолончели с оркестром, широкий спектр ансамблевой, камерной и театральной музыки, песни — в общей сложности около 90 сочинений. Юону принадлежат также различные аранжировки и переложения, преимущественно для фортепиано.
Ряд произведений Юона, особенно камерных ансамблей, были записаны — в том числе в исполнении Альтенберг-трио. В 1998 г. в Цюрихе было основано Международное общество Юона, занимающееся изучением и пропагандой его творчества.