Изучал философию в Градец-Кралове, позднее — право в Пражском университете. В 1837 году он — практикант при уголовном суде пражского магистрата, в 1838 — служил при казначействе. В 1842 году вступил в брак Бетиной Мечиржовой. С 1843 — сотрудник пражского Национального музея; его заданием в музее было сортировать и каталогизировать документы из архивов Табора и Домажлице. В 1848 стал редактором Пражских новостей (Pra?sk? noviny); после публикации новой конституции в том же году оставил должность редактора. В 1850 году стал секретарём и архивариусом Национального музея; в 1851 — архивариусом города Прага.
Основной труд К. Я. Эрбена — Славянское чтение (Slovansk? ??tanka) — содержит в себе более сотни народных сказок и легенд, написанных чешским архаичным языком. В 1853 году вышел в свет единственный сборник его стихов Букет народных сказаний (Kytice z pov?st? n?rodn?ch), в котором пересказаны старочешские предания. В 1864 издал романтическое собрание Простонародных чешских песен и рифм (Proston?rodn? ?esk? p?sn? a ??kadla) в пяти частях.
Эрбен не только собирал народное чешское творчество, но и писал на эту тему литературно-критические работы. Кроме этого, он является автором многочисленных книг по истории Праги и Чехии. Наиболее значительным историческим трудом К. Я. Эрбена считается Regesta diplomatica nec non epistolaria Bohemiae a Moraviae (Регистр писем и документов Богемии и Моравии), в котором изучаются грамоты и указы Чехии, начиная с 1253 года. Кроме этого, писателю принадлежат критические комментарии по историям и легендам о таких личностях, как Святая Екатерина, Томаш Штитный, Ян Амос Коменский и Ян Гус. Перевёл также на чешский язык с русского «Повесть временных лет» и «Слово о полку Игореве».
Композитор Антонин Дворжак использовал многие баллады К. Я. Эрбена как основу для своих симфонических произведений (например, op. 107 Водяной, op. 108 Полдневная ведьма, op. 109 Золотое веретено и op. 110 Лесной голубь).