Родился в семье священника в Лифляндии. С 17 лет работал домашним учителем в семьях помещиков и пасторов. В 1790-е гг. примкнул к кружку рижских гуманистов и просветителей, у истоков которого стоял некогда Гердер. Под влиянием своих старших друзей в 1794 году приступил к сочинению своей книги «Латыши» (нем. Die Letten, vorz?glich in Livland am Ende des philosophischen Jahrhunderts; 1797 году), в котором в самых чёрных тонах описывалась жизнь лифляндского крестьянства, обличались зверства помещиков-немцев, содержался призыв к правительству России вмешаться в лифляндские дела и облегчить жизнь народа.
Книга Меркеля вызвала бурю возмущения среди помещиков Лифляндии, и Меркель вынужден был на 10 лет оставить свою родину. Он отправился в Веймар, где сблизился с Гердером, в 1800 году перебрался в Берлин, где был соредактором еженедельника «Ernst und Scherz» (1803—1806, вместе с Августом фон Коцебу). В 1816 году Меркель вернулся в Лифляндию и с тех пор жил там почти безвыездно. В дальнейшем в Риге были изданы его книги «О Германии, где я провёл десять лет» (нем. ?ber Deutschland, wie ich es nach einer zehnj?hrigen Entfernung wiederfand; 1818) и «Картины и характеристики из моей жизни» (нем. Darstellungen und Charakteristiken aus meinem Leben; 1839—1840, 2 тома), тогда как памфлет «Свободные латыши и эстонцы» (нем. Die freien Letten und Esthen; 1820) был напечатан в Лейпциге.
С 1923 года имя Меркеля носит бывшая улица Паулуччи в Риге (латыш. Mer?e?a iela).