Геллерт был пятым сыном в семье пастора и рос в скромных условиях, однако с 1729 года посещал княжескую школу Св. Афры в Мейсене. Его старший брат — металлург и минералог Христлиб Эреготт Геллерт. В 1734 году Геллерт продолжил обучение в Лейпцигском университете на факультете теологии. Его попытки чтения проповедей оказались неудачными вследствие его природной скромности, и он был вынужден перебиваться частными уроками и воспитательской работой в дворянских семьях. Геллерт был хорошо знаком с французской и английской литературой и занимался переводами энциклопедии Пьера Бейля под руководством Иоганна Кристофа Готтшеда. В 1744 году Геллерт написал диссертацию по теории и истории басни. С 1745 года Геллерт читал лекции о поэзии, словесности и морали в Лейпциге, а в 1751 году получил звание профессора философии. Иоганн Вольфганг Гёте назвал учение Геллерта о морали «фундаментом немецкой нравственной культуры».
У Геллерта было плохое здоровье, сопровождаемое чётко выраженной ипохондрией. Ни лечение, ни поездки в Берлин, Карловы Вары и Дрезден не помогали улучшить его настроение. Геллерт умер в возрасте 54 лет.
В родном городе Геллерта ему воздвигнут памятник.