Учился в Женеве (1883—85) и Берлине (1886—89), защитил в Берлине докторскую диссертацию по классической филологии (1889). Служил наставником в семье греческого короля; с 1893 преподавал в различных учебных заведениях Женевы, в том числе в Женевском университете, где заведовал кафедрой общего и индоевропейского языкознания (1913—39) как преемник Соссюра. Восприняв идеи Соссюра, издал (совместно с А. Сеше) его знаменитый «Курс общей лингвистики» (1916) по сохранившимся записям лекций — возможно, добавив и свои собственные мысли.
Ключевой темой Балли было выражение «субъективности» в языке, понимаемой им как максимально широкий спектр средств отражения личности и эмоций говорящего; отсюда его длительный интерес к стилистике, которую он считал полноправной лингвистической дисциплиной (Trait? de stylistique fran?aise, 1909, русск. пер. Французская стилистика, 1961, а также Le langage et la vie, 1913 и множество последующих изданий; русск. перевод Язык и жизнь, 2003). Наиболее известна книга Балли Linguistique g?n?rale et linguistique fran?aise (1932, 2 изд. 1944; русск. перевод Общая лингвистика и вопросы французского языка, 1955 — один из первых послевоенных переводов в СССР иностранного лингвиста). В книге, подводящей итог предыдущим работам автора, было высказано много глубоких идей о природе изменчивости и эволюции языка, о соотношении морфологии и синтаксиса, о специфике строя французского языка и др., но основным вкладом в теорию языка считается изложенная Балли концепция модальности и коммуникативной организации предложения, существенно опередившая своё время. Теория модальности Балли оказала большое влияние как на французскую (Бенвенист и др.), так и на российскую лингвистику, в частности, на трактовку модальности в работах В. В. Виноградова (последний в значительной степени опирался также на работы Балли по стилистике и фразеологии).