1888 году Шарко служил фельдшером в подразделении альпийских стрелков.
По окончании школы и вплоть до смерти своего отца в 1893 году Шарко-младший много ассистировал ему в его медицинской работе, объехал множество стран (в том числе побывал и в России). В 1895 г. он защитил диссертацию доктора медицины «Прогрессирующая мышечная дистрофия». Одновременно Шарко много занимался спортом и в 1894 г. стал чемпионом Франции по регби в составе клуба «Стад Франсе». В 1896 г. Шарко женился на Жанне Гюго, внучке Виктора Гюго.
В 1892 г. Шарко приобрёл свою первую яхту и затем постепенно наращивал габариты парусных судов под своим началом и опыт руководства ими. В 1901 г. он провёл ряд океанографических исследований в окрестностях Гебридских, Шетландских и Фарерских островов, в 1902 г. получил звание морского офицера и доплыл до Исландии и острова Ян-Майен.
В 1903 г. Шарко возглавил французскую антарктическую экспедицию на трёхмачтовой шхуне «Француз» (фр. Fran?ais). Экспедиция продлилась около двух лет, Шарко исследовал и описал около 1000 километров береговой линии (помимо прочего, он дал название морю Беллинсгаузена) и привёз 75 ящиков описаний и экспонатов для парижского Музея естественной истории. По возвращении во Францию Шарко развёлся с женой.
В 1908—1910 гг. Шарко провёл вторую антарктическую экспедицию, в ходе которой, помимо всего прочего, открыл остров Шарко (около 630 км?, в 80 км от Земли Александра I), названный им в честь своего отца, а также обнаружил шестилучевую губку Scolymastra joubini, самый долгоживущий организм в животном мире (до 10 тыс.лет).
С началом Первой мировой войны Шарко первоначально служил в морском госпитале в Шербуре, но уже в 1915 году получил под командование противолодочный корабль (сперва британский, поскольку Франция не располагала своими, а затем французский, когда таковой был построен) и до конца войны занимался противолодочной обороной у берегов Бретани и Нормандии, был награждён орденами Франции и Великобритании.
По окончании войны в 1918—1925 гг. Шарко занимался литологическими исследованиями в европейских морях и прилегающих районах Атлантики, затем изучал восточное побережье Гренландии, в 1928 г. участвовал в поисках пропавшей экспедиции Руаля Амундсена, в 1934—1936 гг. вновь работал в Гренландии, занимаясь подготовкой материалов для экспедиции Поля Эмиля Виктора вглубь острова. При возвращении из Гренландии корабль Шарко, называвшийся «Почему бы нет?» (фр. Pourquoi-Pas?), попал в бурю и затонул недалеко от Исландии, спасся лишь один матрос. Жан-Батист Шарко трагически погибший в море, 12 октября был погребён на парижском кладбище Монмартр.
Именем Шарко названы пролив и гора в архипелаге Кергелен. В 1952 году был открыт памятник Жану Батисту Шарко в Рейкьявике.