Сам научился играть на альте. В 1907—1910 выступал с Берлинским оркестром Блютнера, Берлинским филармоническим оркестром. В 1911 познакомился с Шёнбергом, участвовал в премьере его «Лунного Пьеро». В 1914—1916 дирижировал в Риге. 1916—1918 провел в российском лагере для военнопленных. В 1918 вернулся в Берлин, основал Новое музыкальное общество, в 1919 создал посвященный современной музыке журнал «Мелос». Среди его учеников — Пьер Булез, Карл Амадеус Хартманн (Шерхен — один из авторов либретто его оперы «Симплициссимус», на основе романа Гриммельсгаузена).
В 1933 покинул Германию, руководил оркестрами в Брюсселе, Вене и др.
Один из наиболее активных и авторитетных исполнителей новейшей музыки XX века, произведений таких композиторов, как Рихард Штраус, Арнольд Шёнберг, Альбан Берг, Антон Веберн, Эрнст Кшенек, Алоис Габа, К. А. Хартман, Карлхайнц Штокхаузен, Луиджи Даллапиккола, Эдгар Варез, Бруно Мадерна, Луиджи Ноно, Борис Блахер, Ханс Вернер Хенце, Яннис Ксенакис. Известен также своим исполнением «Искусства фуги» И. С. Баха, «Героической симфонии» Бетховена. Написал «Учебник дирижерского искусства» (1929), переведенный на многие языки и переиздающийся до нынешнего дня.