Начал учиться музыке в родном городе, некоторое время занимался игрой на фортепиано под руководством Теодора Лешетицкого. В 1888 г. вместе с семьёй переехал в Вену, где приступил к занятиям в Венской академии музыки у Фердинанда Хельмесбергера (виолончель), Роберта Фукса (композиция) и Антона Брукнера (контрапункт). По окончании курса в 1896 г. поступил по конкурсу виолончелистом в оркестр Венской придворной оперы, в котором играл вплоть до 1914 года, в том числе под руководством Густава Малера, предпочитавшего доверять Шмидту сольные партии. В 1914 году Шмидт сменил пульт на кафедру, поступив в Венскую академию музыки в качестве преподавателя фортепиано; в дальнейшем в разные годы он преподавал также виолончель, контрапункт и композицию, в 1925 г. занял пост директора академии, а в 1927—1931 гг. был её ректором и лишь в 1937 г. оставил преподавательскую деятельность из-за ухудшившегося здоровья. После аншлюсса Шмидт был признан нацистскими культурными инстанциями крупнейшим австрийским композитором и получил правительственный заказ на ораторию, воспевающую величие Третьего рейха, однако вместо неё работал в конце жизни над камерными сочинениями, заказанными бежавшим от нацистов в США пианистом Паулем Витгенштейном.
Написал 2 оперы, ораторию, 4 симфонии:
Музыку Шмидта исполняют крупнейшие оркестры мира. В России почти не исполняется.