Сын Жана-Батиста Шарлеманя, старший брат Людовика Ивановича Шарлеманя («2-го»), отец академика живописи Адольфа Шарлеманя и академика архитектуры Иосифа Шарлеманя.
В 1797 году поступил пенсионером в Академию Художеств, где не раз отмечался высшими наградами, в том числе за проекты Медико-Хирургической Академии и карантинного лазарета.
1 сентября 1803 года Шарлемань был выпущен из Академии с аттестатом первой степени и шпагой, но занятий в Академии не прекратил, а, по личной своей просьбе, остался работать при ней, «дабы приобресть вящшие успехи не яко уже ученик, а как художник». Поступив затем на государственную службу, он по должности занимался составлением проектов и осуществлением строительства казённых зданий.
Деятельность Шарлеманя не ограничивалась районом Петербурга. Как придворный архитектор, он часто должен был ездить вместе с членами императорской семьи или по их поручениям. Например, 6 августа 1825 года, тотчас же после своей женитьбы, по случаю переселения императорского двора в Таганрог он вместе с Бабкиным был командирован туда для приготовления нужных помещений. Состоял архитектором при Государственном Контроле и членом Общего Присутствия в Департаменте проектов и смет при Главном Управлении путей сообщения.
Неоднократно награждался орденами, включая орден Святого Владимира третьей степени.
Похоронен на Выборгском католическом кладбище при церкви святой Марии Магдалины.