Смолли родился 6 июня 1943 года в городе Акрон, штат Огайо. Учился в Мичиганском университете, получил степень бакалавра в 1965 году. В 1973 году получил степень доктора философии в Принстонском университете. Учебу и занятия наукой Смолли сочетал с работой в химической отрасли, где приобрел инженерные навыки и опыт руководителя.
Поступив после защиты диссертации на работу в Чикагский университет, Смолли вместе с коллегами развивает новое направление — лазерную спектроскопию в сверхзвуковых потоках. В 1976 году вместе с семьей переезжает в Хьюстон в штате Техас и занимает должность доцента в Университете Райса.
Продолжая работу в спектроскопии, Смолли анализирует состав атомных кластеров, образующихся при испарении различных веществ лазером и последующем охлаждении в сверхзвуковых потоках. Используя эту методику, в 1985 году он в сотрудничестве с коллегой по университету Робертом Керлом и Гарольдом Крото из британского Университета Сассекса открывает новые сфероподобные формы углерода — фуллерены. В последующее десятилетие Смолли продолжает заниматься изучением фуллеренов (в частности C28, C70 и эндоэдральных фуллеренов), а также исследует синтез углеродных нанотрубок в присутствии различных катализаторов.
Получив за открытие фуллеренов Нобелевскую премию, Смолли убеждает руководство открыть при университете Центр нанонауки и технологий (Rice Center for Nanoscience and Technology — CNST). Его группа разрабатывает метод синтеза нанотрубок из монооксида углерода под высоким давлением и передает технологию созданной при центре компании Carbon Nanotechnologies.
Активный сторонник развития и популяризации нанотехнологий, Смолли в то же время резко полемизирует с Эриком Дрекслером — нанотехнологическим активистом, продвигающим идеи молекулярных роботов-сборщиков. Смолли указывает на фундаментальные проблемы, которые препятствуют созданию саморазмножающихся роботов, и опасается, что рисуемые Дрекслером апокалипсические картины могут серьёзно ослабить поддержку нанотехнологий в обществе.
В свои последние годы больной лейкемией Смолли старался обратить внимание ученых и общества на глобальные задачи, важнейшей из которых он считал поиск недорогих и чистых источников энергии. Несмотря на болезнь, он не жалел сил на пропаганду науки и образования под девизом «Будь ученым — спаси мир».
Ученый скончался 28 октября 2005 года в Хьюстоне.