После службы добровольцем на войне против Наполеона I (1813—1814) получил должность секретаря в военном департаменте в Ганновере. В 1817 году посещал гимназию в Ганновере, затем в 1821—1822 годах учился в Гёттингенском университете.
С Гёте Эккерман познакомился в 1823 году, послав ему свою рукопись «Beitr?ge zur Poesie mit besonderer Hinweisung auf Goethe». Переехав вскоре в Веймар по приглашению Гёте, Эккерман зарабатывал на жизнь частной преподавательской деятельностью, обучая сына великого герцога Саксен-Веймар-Эйзенахского. В 1830 году он посетил Италию вместе с сыном Гёте. В 1838 году получил титул советника великого герцога и библиотекаря великой герцогини.
Эккерман внёс значительный вклад в исследование творчества великого поэта. Главная его работа — «Разговоры с Гёте в последние годы его жизни, 1823—32» («Gespr?che mit Goethe in den letzten Jahren seines Lebens, 1823-32», 3 тт., 1836—1848) — переведена почти на все европейские языки, первый сокращённый русский перевод 1891 года, полный — 1934 года. Источником работы послужили записи, сделанные с разрешения Гёте. Включает не только записи бесед с самим Гёте, но также информацию о жизни поэта.
Также опубликовал «Nachgelassene Schriften» Гёте (посмертные работы, 1832—1833). Вместе с Фридрихом Вильгельмом Римером был соредактором полного собрания сочинений Гёте в 40 тт. (1839—1840).
Собственные художественные произведения Эккермана — сборники стихов 1821 и 1838 годов.