Окончил Берлинский университет, с 1835 начал работать помощником И. Ф. Энке в Берлинской обсерватории. С 1851 по 1897 был директором обсерватории и профессором университета в Бреслау (ныне Вроцлав).
В 1872 г. впервые предложил определять параллакс Солнца по наблюдениям малых планет во время их противостояний. В этом же году при наблюдении малой планеты Фокси (№ 25) вывел параллакс Солнца 8,87?.
В течение своей жизни он изучал кометы, и в 1894 (с помощью своего сына Андреаса Галле) он издал таблицу-обзор с элементами орбит 178 комет. Сам он обнаружил три кометы в течение короткого промежутка: с 2 декабря 1839 до 6 марта 1840. В 1872 г. установил тождественность метеорного потока Андромедид с распавшейся кометой Биелы. В 1843 г. обнаружил креповое (внутреннее) кольцо Сатурна.
23 сентября 1846 года получил письмо от У. Леверье с просьбой провести поиск заурановой планеты по предвычисленным им координатам. В тот же вечер Галле отыскал новую планету, получившую позже название Нептун.
В его честь названы кратеры на Луне и на Марсе, кольцо Нептуна и астероид № 2097 (Галле).
Главное достижение научной карьеры Галле — открытие планеты Нептун по расчётам У.Леверье. Докторская диссертация Галле, законченная в 1845, была сокращённым и критическим обсуждением наблюдений Урана Оле Рёмером в период с 20 октября до 23 октября 1706. Приблизительно в 1845 он послал копию диссертации Урбену Леверье, но получил ответ годом позже, 23 сентября 1846, в ответе Леверье попросил, чтобы он (Галле) посмотрел на определённую область неба, чтобы найти предсказанную новую планету, которая объяснит возмущения в движении Урана. В ту же самую ночь, после того, как Энке дал ему разрешение (сам Энке не поддерживал Галле), объект, соответствующий описанию, был найден, и за следующие два вечера было подтверждено, что он является новой планетой.