С 1515 г. жил в Виттенберге, присоединился вскоре к Мартину Лютеру, в 1519 г. сопровождал его на лейпцигский диспут и в 1525 был отправлен во Франкфурт-на-Майне, чтобы по желанию тамошнего магистрата установить в этом городе чин протестантского богослужения. По возвращении оттуда он был учителем и приходским священником в Эйслебене и в 1536 г. занял профессорскую кафедру в Виттенберге, где происходила начатая им ещё раньше антиномистская распря с Лютером и Филиппом Меланхтоном. Эта ссора побудила его в 1536 году переселиться в Берлин, где бранденбургский курфюрст Иоахим II назначил его придворным проповедником и генерал-суперинтендентом. Агриколе приписывают ведущую роль при подготовке Аугсбургского интерима.
Агрикола умер в Берлине после разнообразной деятельности по распространению протестантского учения в бранденбургских владениях. Кроме многих богословских сочинений, он оставил после себя настоящее национальное произведение «Die gemeinen deutschen Sprichw?rter mit ihrer Auslegung», которое вышло сперва на нижненемецком языке (Магдебург, 1528), а вскоре потом и на верхненемецком (Нюрнберг, 1629); впоследствии оно издано под заглавием «Siebenhundert und F?nfftzig Deutscher Sprichw?rter» (Гагенау, 1534) и несколько раз перепечатывалось. По патриотическому духу, твёрдой морали и выразительному языку этим сборникам принадлежит одно из первых мест в ряду немецких сочинений того времени.
Кроме того, Агрикола написал несколько церковных песнопений и «Tragedia Johannes Huss» (Виттенберг, 1538), также перевёл в прозе «Andria» Теренция (Берлин, 1543).