Начал заниматься музыкой в качестве хориста Королевской капеллы при Сент-Джеймсском дворце, в 1784 г. пел на концертах первого лондонского фестиваля памяти Генделя. Учился у Эдмунда Айртона, Иоганна Баптиста Крамера и других видных музыкантов. С 15 лет играл на органе Королевской капеллы, затем также на скрипке, в том числе в оркестре под управлением Иоганна Петера Саломона. В 1811 г. в связи с успехом цикла концертов, проведённых Смартом в Дублине, лорд-лейтенант Ирландии Чарльз Леннокс, четвёртый герцог Ричмонд возвёл Смарта в дворянское достоинство.
В 1813 г. Смарт был одним из членов-учредителей Королевского филармонического общества, вплоть до 1825 г. систематически дирижировал публичными концертами в Лондоне. В 1825 г. на Смарта легла обязанность организовать лондонское исполнение Девятой симфонии Людвига ван Бетховена, для чего он отправился в Вену и несколько раз встречался с композитором; на прощание он подарил Бетховену бриллиантовую булавку, а Бетховен на память о встрече записал Смарту импровизированную мелодию канона «Ars longa, vita brevis». В 1820-е гг. Смарт также некоторое время был музыкальным руководителем театра Ковент-Гарден; приглашённый в Лондон по случаю постановки в театре оперы «Оберон» Карл Мария фон Вебер умер в доме Смарта.
Продолжая работать в Королевской капелле, теперь уже не только как органист, но и как дирижёр и придворный композитор, Смарт дирижировал на похоронах короля Георга IV и коронациях Вильгельма IV и королевы Виктории. Он также выступал как дирижёр на многих британских музыкальных фестивалях, до конца жизни преподавал — преимущественно вокал, особенно в связи с традицией исполнения произведений Генделя.
Брат Смарта Генри Смарт (1778—1823) был известен как скрипач, а его сын Генри Томас Смарт, в свою очередь, пользовался известностью как органист и композитор.