Предки чернокожего Моцарта по отцовской линии, нидерландские протестанты, поселились в Вест-Индии в 1645 году. Сам он — сын французского плантатора и его чернокожей рабыни, иначе говоря — родился рабом. После ложного обвинения в убийстве его отец был вынужден в 1747 году с женой и сыном бежать во Францию, где был через два года по ходатайству брата, советника короля Пьера де Болонь, прощён королем и смог вернуться на Гваделупу. В 1753 году он навсегда отослал сына в Париж, в 1757 году получил аристократический титул.
Жозеф сделал одновременно военную и музыкальную карьеру. Отличался статностью (имел рост 1 м 80 см). С тринадцати лет изучал фехтовальное искусство у известного фехтовальщика Николя Тексье де ла Боэссьера, также обучался верховой езде, литературе, игре на скрипке и клавесине. В 1761 году был принят в королевскую жандармерию. Учился музыке у Жана-Мари Леклера. Вероятно, на него оказал влияние и Гавинье. В 1763 году он купил себе место советника короля и рыцарское звание. Для него, скрипача-виртуоза, писали музыку Антонио Лолли, Карл Стамиц, Франсуа-Жозеф Госсек, он концертировал в Англии и Франции.
В 1769 году он стал членом созданного Госсеком оркестра Concert des Amateurs, а вскоре и его дирижёром. В журнале Музыкальный альманах (1775) оркестр был назван лучшим в Париже, а может быть, и в Европе. Затем он возглавил оркестр масонской Олимпийской ложи (он был одним из первых чернокожих масонов во Франции). Оркестр заказал Гайдну шесть симфоний (так называемые Парижские симфонии, 1785—1786) и — под управлением шевалье де Сен-Жоржа — стал их первым исполнителем. На премьере присутствовала Мария-Антуанетта, ей больше других понравилась 85-я симфония, которая получила поэтому название Королева. Людовик XVI собирался назначить шевалье де Сен-Жоржа директором Королевской оперы, но назначение не состоялось из-за протеста нескольких артисток (в частности, Софи Арну и Мари Мадлен Гимар), считавших ниже своего достоинства служить под руководством мулата; так излагает эту историю барон Фредерик Мельхиор фон Гримм в своей Переписке.
Отстранённый от музыки, шевалье отдал все силы искусству фехтования и стяжал славу как блестящий боец. Известна его схватка с легендарным шевалье д’Эоном в присутствии принца Уэльского, будущего короля Георга IV (1787). Был первым чернокожим полковником французской армии (1792). Воевал с австрийцами. Под его началом служил Тома-Александр Дюма, также мулат, отец будущего автора Трех мушкетёров. После Революции был за близость к королевскому двору разжалован, арестован (1793), около года провел в тюрьмах Шантийи и Онденвиля (департамент Уаза). С 1797 года руководил оркестром Кружок Гармонии.
Автор концертных симфоний, струнных квартетов, скрипичных концертов, сонат для скрипки и клавесина, музыкальных комедий Эрнестина (1777, либретто Шодерло де Лакло), Охота (1778) и других сочинений. Руководил частным музыкальным театром госпожи де Монтесон, супруги герцога Орлеанского. В 1779 году он давал уроки музыки Марии-Антуанетте.
В 2001 улица Ришпанса между первым и восьмым округами Парижа была переименована в улицу шевалье де Сен-Жоржа. На Гваделупе прошла посвященная ему выставка, в 2009 был учрежден международный музыкальный фестиваль его имени, действует Общество друзей композитора. Во Франции, на Гваделупе, на Кубе ставятся драматические и музыкальные спектакли о нём. Его музыка исполняется и записывается, несколько его скрипичных концертов записал Жан-Жак Канторов, струнные квартеты — квартет Аполлон. В России один из его скрипичных концертов исполнил Московский симфонический оркестр (2006).
Как колоритная фигура эпохи упоминается в романах Дюма (Ожерелье королевы, Дочь маркиза и др.), романе Теккерея Виргинцы. Несколько романов и пьес сочинены персонально о нём:
Существуют также музыкальная комедия Мельвиля и Р.де Бовуара «Шевалье де Сен-Жорж» (1840, переизд. 2001), опера Алена Геде «Чернокожий в эпоху Просвещения» (пост. 2005, 2009), кубинский балет «Чернокожий Моцарт» (2006).