Родился в Пренцлау, провинция Бранденбург. Учился у выдающегося индоевропеиста Августа Шлейхера и специализировался на индоевропейских языках, особенно на славянских. Получил докторскую степень в 1865 году и с 1866 работал учителем в гимназии в Берлине .
В 1868 году Шмидт был избран Боннским университетом на должность профессора немецкого и славянских языков. В Бонне в 1872 г. он опубликовал работу Die Verwandtschaftsverh?ltnisse der indogermanischen Sprachen (Родственные отношения индогерманских языков), в которой представил волновую теорию, являющуюся альтернативой теории генеалогического древа Шлейхера. Согласно этой теории языковые инновации распространяются из центра инновации к периферии, постепенно затухая (подобно тому, как расходятся по воде круги от брошенного камня). Именно этим объясняется языковая конвергенция.
С 1873 по 1876 Шмидт был профессором филологии в Грацском университете. В 1876 он вернулся в Берлин, где работал в качестве профессора в Берлинском университете имени Гумбольдта. Умер там же, в Берлине.