Смит очень рано проявила музыкальный талант. В 14 лет Смит начала петь с группой военно-морской воздушной базы под руководством Сакси Доуэлла. В 15 лет она получила свою первую оплачиваемую работу в группе Ёрла Беннетта.
Первым профессиональным дебютом была работа с Луи Примой в 1949. Они поженились в 1952 году, Смит стала четвёртой женой Луи Примы. В выступлениях с мужем, Смит играла роль простого, прямого человека в противовес шутовству и фиглярству Луи Примы. В таком распределении ролей они записали много песен, одной из которых была "Эта старая черная магия" ("That Old Black Magic") Джонни Мерсера и Гарольда Арлена, попавшая в Топ-20 США в 1958-м году. В 1959-м году, Смит и Прима первыми в истории получили Премию Грэмми за "Лучшее Представление Вокальной Группы или Хора" за песню "Эта старая чёрная магия". Невозмутимое и гротескно невыразительное лицо Кили Смит во время исполнения песен имела большой успех у публики. С немного меньшим успехом дуэт выпустил такие хиты, как "Ты у меня под кожей" ("I've Got You Under My Skin") и "Bei Mir Bistu Shein", перепевка одноименного хита 1937-го года группы Эндрю Систерс (Andrew Sisters).
Выступления Кили Смит и Луи Примы были опорой музыки лаундж большую часть 1950-х годов.
В 1959-м году Смит появилась вместе с Луи Примой в фильме "Эй, Мальчик! Эй, Девочка! ("Hey Boy! Hey Girl!"), в качестве исполнителя песни Лихорадка ("Fever"). Также, чуть ранее, она пела в саундтреке к фильму "Thunder Road". Первым соло хитом стала песня "Я желаю тебе любви" ("I Wish You Love").
В 1961 году Смит развелась с Примой, после чего стала петь для звукозаписывающей компании Репрайз (Reprise Records), где её директором был Нельсон Риддл. В 1965 она попала в топ-20 Великобритании с альбомом песен Битлз и версией песни "Ты разбиваешь мне сердце".
После выхода замуж за продюсера Джимми Боуена, Смит отошла от музыки, чтобы сконцентрироваться на воспитывании своих детей.
В 1985 она успешно вернулась в музыку с альбомом "Я снова влюблена" ("I'm In Love Again"). Её следующие альбомы "Кили поёт Синатру" (2001, за что певица была номинирована на Грэмми) и "Свинг, Свинг, Свинг" (2002), а также Keely Swings Count Basie Style with Strings (2002) получили большое количество положительных откликов со стороны критиков и зрителей. Последний альбом Кили Смит - "Вегас 58 - Сегодня" - компиляция наиболее известных песен исполнительницы, записанных вживую. Также Смит перезаписала несколько песен времен совместного творчества с Луи Примой, в том числе переделанную версию "О, Мари" ("Oh Marie"), переименованную в "О, Луи" ("Oh Louis"), как дань уважения. По её собственному желанию, Келли Смит никогда не брала уроков пения и не умеет читать ноты.
В 2007 году Смит работала в легком режиме гастролей, тем не менее, продолжая удивлять поклонников своим сильным голосом и умением держать себя на сцене. Весь апрель 2007-го года Смит выступала в одном из самых престижных кафе Нью-Йорка - Кафе Карлайл.
10 февраля 2008 года, Смит спела "Эта Старая Черная Магия" с Кид Роком на пятидесятой годовщине Премии Грэмми.