Родился в посёлке Нижняя Сыроватка, Харьковская губерния (теперь — Сумская область, Украина). Сын крестьянина, получил образование в сельской приходской школе.
Став одним из самых крупных русских сахарозаводчиков, был известен благотворительной деятельностью. На постройку детского приюта он пожертвовал до 90 000 руб. и капитал в 150 000 руб. на его содержание; на устройство общежития для студентов Харьковского университета — 100 000 руб.; на постройку церкви в селе Нижней Сыроватке — 70000 руб. Кроме того, он назначал значительные пенсии осиротевшим семействам лиц, служивших в его имениях, устроил бесплатную подачу медицинской помощи бедным города Сум и при помощи приходских священников раздавал бедным ежемесячно до 200 руб.; много жертвовал на учебные заведения и благотворительные учреждения.
Умер Иван Герасимович Харитоненко 30 ноября 1891 года в Сумах и похоронен на Центральном городском кладбище, возле Петропавловской церкви. На похороны его собралось до 15 000 человек. На его могиле установлен памятник работы французского скульптора Аристида Круази.
За несколько дней до смерти И.Г. Харитоненко пишет завещание, в котором старается никого не обойти вниманием, про всех вспомнить, материально поддержать малоимущих и нуждающихся.