Иван Устинович был третьим из четырёх детей в семье украинского крестьянина. В 1933 году, во время голода 1932—1933 годов, старшая сестра забрала 15-летнего Ивана в Москву, где он начал трудовую деятельность на авиазаводе имени Чкалова столяром.
В 1938 году был призван в ряды Красной Армии, проходил службу в войсках местной противовоздушной обороны Народного Комиссариата Внутренних Дел (МПВО НКВД) в городе Запорожье. Перед самым началом войны, отслужив 3 года срочной службы, Иван Устинович должен был демобилизоваться — в середине 1941 года он был старшиной роты.
После начала Великой Отечественной войны Иван Устинович был направлен на курсы младших лейтенантов. После тяжелых боев второй половины 1941 года, часть была отправлена на доформирование, и, в июле 1942 года, была направлена под Сталинград. В звании младшего лейтенанта Иван Устинович вернулся в свою часть на должность командира взвода.
Во время Сталинградской битвы Иван Устинович руководил работами по разминированию, а также лично разминировал неразорвавшиеся бомбы и снаряды. После освобождения Киева, он занимался разминированием города и центральных районов Украины. В архивах Национального музея истории Великой Отечественной войны хранится фотография разрушенного Хрещатика с надписью на деревянной дощечке «Проверено — мин нет. Л-т Харченко». С сентября 1943 года Иван Устинович — член ВКП(б).
2 ноября 1944 года указом Президиума Верховного Совета СССР Ивану Устиновичу Харченко было присвоено звания Героя Советского Союза с вручением ордена Ленина и медали Золотая Звезда (№ 5573). На момент присвоения звания Иван Устинович разминировал более 1500 бомб калибром более 500 кг и более 25 000 других взрывоопасных предметов.
После окончания войны, Иван Устинович продолжал ликвидацию взрывоопасных предметов. За разминирование в мирные годы Иван Устинович был награжден орденами Красного Знамени, Красной Звезды и медалью «За боевые заслуги».
В 1950 году Иван Устинович закончил Высшую офицерскую инженерную школу в Москве, до 1956 года он продолжал лично разминировать, а после руководил работами по разминированию и делился богатым боевым опытом с офицерами подразделений войск Гражданской обороны.
В 1961 году командовал батальоном ликвидировавшим последствия Куреневской трагедии.
После увольнения в запас в 1964 году, Иван Устинович работал на инженерных должностях в Министерстве монтажных и специальных строительных работ УССР, а в 1986 году вышел на пенсию.
Иван Устинович Харченко умер 1 июля 1989 года в Киеве, похоронен на Берковецком кладбище.
В 1942 году женился на Нине Степановне Гордеевой. Воспитал сына Валентина (р. 1945) и дочь Людмилу (р. 1947). С военных лет и до конца жизни дружил с собственным корреспондентом газеты «Правда» Александром Степановичем Богмой.