Родился в г. Селукве (ныне — Шуругви), учился в Университете Родса в ЮАР. Во время второй мировой войны служил в британских королевских ВВС. Служил на Ближнем Востоке, в Баальбеке проходил подготовку на Харрикейнах, в Иране прикрывал нефтяные промыслы от возможных авиационных атак. 4 ноября 1943 года при посадке в условиях песчаной бури шасси самолёта зацепились за дом и самолёт потерпел крушение. При посадке сам Ян Смит сильно пострадал, были сломаны челюсть, нога и плечо. Полгода он провёл в госпитале. Летом 1944 года 237 «Родезийскую эскадрилью» перевели в Италию. 22 июня самолёт Яна Смита был подбит. Ему удалось выпрыгнуть с парашютом и он попал к местным крестьянам, которые укрыли его. Потом он попал к местным партизанам и некоторое время участвовал вместе с ними в боевых действиях против немцев. Впоследствии его переправили к французским партизанам — маки и далее в Лондон. Войну Ян Смит закончил в Норвегии.
С 1948 г. вел активную политическую деятельность, в 1962 г. стал одним из организаторов партии Родезийский фронт. Победив на выборах в 1962 г., партия сформировала правительство и в 1964 г. назначила премьером Смита. Лидер белого меньшинства в войне в Южной Родезии.