Из семьи кустаря. Русский. Жил и учился в Казани. В 1918 году вступил в РКП(б). В 1919 году окончил Казанскую школу общественных наук.
С 1919 года в Красной Армии. В годы гражданской войны — политрук роты, политрук батареи. Затем военный комиссар санитарной части, санитарного поезда, 92-го и 91-го госпиталей в Казани.
В 1921 году — инструктор политического управления Запасной Армии в Приволжском военном округе. Затем — инструктор политического отдела дивизии, ответственный организатор партработы полка, военком роты, помощник начальника артиллерийского склада по политической части, военком понтонного батальона, военком железнодорожного полка. С 1931 года — военком топографического отряда, военком геодезического отряда, командир топографического отряда. Служил в Ленинградском и в Московском военных округах.
С марта 1936 года — военком 2-го управления военно-топографических работ в Харьковском военном округе. С декабря 1937 года — военком 23-й стрелковой дивизии Харьковского военного округа, дивизионный комиссар. С апреля 1939 года — военком Генерального Штаба РККА. С сентября 1938 года — член Военного Совета Белорусского особого военного округа, корпусной комиссар.
В марте 1939 года был переведён на флот и назначен начальником Главного политического управления Рабоче-Крестьянского флота СССР — заместитель Народного комиссара Военно-Морского флота СССР, хотя ранее ни дня не служил на флоте. Вскоре ему присвоено воинское звание армейский комиссар 2-го ранга. С марта 1939 года до конца жизни — член ЦК КПСС.
В этих должностях провёл всю Великую Отечественную войну. Занимался вопросами партийно-политической работы на флоте, укреплением дисциплины, политическим контролем над деятельностью командования. Одновременно с декабря 1943 по февраль 1944 года являлся членом Военного Совета Черноморского флота. Скорее всего, данное назначение связано с неудачными действиями флота в конце 1943 года (гибель отряда кораблей флота у берегов Крыма и тяжелые потери в боевых действиях на Этильгенском плацдарме), сменой командования флота и необходимостью повышения боеспособности флота перед решающими боями за Крым.
В апреле 1946 года освобождён от занимаемых должностей во флоте и направлен в распоряжение Министра обороны СССР. С августа 1946 года — заместитель командующего войсками Прибалтийского военного округа по политической части. С 1946 года — депутат Верховного Совета СССР 2 созыва.
Похоронен в Москве на Новодевичьем кладбище.
Писатель Александр Крон, служивший в годы войны на Балтийском флоте («Капитан дальнего плавания», М., «Сов. пис.», 1984. с. 162):
Любопытно, что советский флотоводец Народный комиссар ВМФ Н. Г. Кузнецов о Рогове почти не упоминает в своих мемуарах, хотя тот был заместителем Кузнецова шесть лет.
Имя И. В. Рогова носил большой десантный корабль Балтийского флота.