Родился в Санкт-Петербурге, в семье полковника (впоследствии генерала от инфантерии) Оскара Карловича фон Клемма (первый комендант Ковенской крепости). Начальное образование получил в гимназии, по окончании которой с серебряной медалью поступил в Лазаревский институт восточных языков. Во время учёбы составил сочинение «История халифа Аль-Мамуна по арабским и европейским источникам», после чего был зачислен в Учебное отделение восточных языков при Министерстве иностранных дел.
15 июля 1885 года Клемм получил назначение в Азиатский департамент Министерства иностранных дел и 26 мая 1886 года определён драгоманом при этом департаменте.
1 марта 1888 года Клемм был переведён в Бухарское ханство секретарём и драгоманом при российском политическом агенте в Бухаре. В 1888 году в 33-м выпуске «Сборника географических, топографических и стаистических материалов по Азии», издаваемом Военно-учёным комитетом Главного штаба под грифом «Секретно», была опубликована статья Клемма «Современное состояние торговли в Бухарском ханстве».
19 октября 1893 года Клемм был назначен дипломатическим чиновником для пограничных сношений при начальнике Закаспийской области генерал-лейтенанте А. Н. Куропаткине.
14 февраля 1900 года Клемм был в ранге Генерального консула назначен первым российским консулом в Бомбее. На этом посту Клемм обеспечивал дипломатическое прикрытие и связь офицерам Генерального штаба, посещавшим Индию (как легально, так и нелегально) с разведывательными целями; оказывал содействие учёным экспедициям Академии наук и Русского географического общества; самостоятельно собирал сведения экономического, политического, военного и научного характера.
На этой должности Клемм пробыл до 1906 года, когда был назначен генеральным консулом в Мешхед, где находился до 1908 года. По возвращении в Санкт-Петербург Клемм был чиновником для особых поручений при министре иностранных дел; с началом Первой мировой войны возглавил 3-й (Среднеазиатский) отдел Министерства иностранных дел.
После Октябрьской революции Клемм оказался в Сибири и был дипломатическим представителем Колчака во Владивостоке. После разгрома Колчака и образования Дальневосточной республики Клемм эмигрировал в Китай и в начале 1930-х годов перебрался в Германию. Умер 16 сентября 1938 года в Берлине.