И. Ф. Глебов родился 20 февраля 1707 (по другим источникам 1703 или 1705) года в семье генерал-майора, майора лейб-гвардии Преображенского полка, обер-штер-кригскомиссара Фёдора Никитича Глебова, умершего в 1716 году. Получив хорошее домашнее образование, в 1721 году после экзамена, проведённого генeрал-фельдцeйxмейстером Я. В. Брюсом, он был зачислен сержантом в артиллерию.
В 1731 году Глебову присвоено воинское звание капитана.
В 1738 году назначен асессором канцелярии Главного артиллерийского управления, а через два года стал советником. Глебов ведал школами по подготовке артиллерийских кадров и всей гарнизонной артиллерией.
При учреждении в 1741 году комиссии по упорядочению и усовершенствованию артиллерийского дела Иван Фёдорович становится одним из самых активных членов комиссии. Комиссии удалось провести испытание изобретений П. И. Шувалова: усовершенствованной «секретной гаубицы» и «единорога». В 1743 году Глебову присвоено звание бригадира, а в 1749 году — генерал-майора.
4 января 1751 года ему было поручено расселение и обустройство в России переселенцев из Сербии в так называемой Новой Сербии, а также возведение земляного укрепления, названного крепостью св. Елизаветы.
В 1755 году генерал-поручику Глебову поручено командование полевой и осадной артиллерией в Санкт-Петербурге, Риге, Выборге, Новгороде, Пскове, Великих Луках, Смоленске и Остзейском крае.
Во время Семилетней войны с 1757 по 1762 год И. Ф. Глебов служит в действущeй армии. За сражение при Цорндорфе (1758), при котором особо отличились гренадёрские части и артиллерия под его командованием, он награждён орденом св. Александра Невского.
В 1760 году Глебов определён на должность киевского генерал-губернатора, но назначение отложено до окончания войны.
В феврале 1762 года получает звание генерал-аншефа и назначается генерал-губернатором. Занимает должность генерал-губернатора в Киеве до 1766 года, когда назначен сенатором.
С февраля по декабpь 1767 года И. Ф. Глебов исполняет обязанности главноначальствyющего в Санкт-Петеpбуpге.
В 1770 году он уходит в отставку по состоянию здоровья. Скончался 13 июня 1774 года и погребён в Старицком Успенском монастыре.
У И. Ф. Глебова было пять сыновей: Николай (1731—?), Федор (1734—1799), Иван (1743—?), Сергей (1736—1786), Павел (1744—1826), и три дочери: Екатерина (1740-?), Варвара (1741—1760) и Елизавета (1749-?).
Потомком И. Ф. Глебова по женской линии является украинский политик Дмитрий Табачник.