На военной службе с 1914 года, участвовал в Первой мировой войне в чине старшего унтер-офицера.
В 1917 году избирался членом полкового и дивизионного солдатских комитетов. После демобилизации в 1918 году стал председателем Инсарского уездного исполкома, а с января по октябри 1919 года также членом Пензенского губисполкома.
Во время Гражданской войны в России находился в РККА с октября 1919. Участвовал в боях на Западном фронте, командовал ротой, батальоном, а с 1920 года — стрелковым полком.
В 1923 году по окончании Гражданской войны окончил курсы «Выстрел», курсы усовершенствования высшего командного состава при Военной академии им. М. В. Фрунзе (в 1926 году и в 1930 году) и Военную академию им. М. В. Фрунзе (1936).
С ноября 1923 года командовал стрелковым полком, а с октября 1926 был помощником командира стрелковой дивизии.
С июля 1928 и по июнь 1929 командир 19-й стрелковой дивизии.
С мая 1930 года работал преподавателем в Военно-политической академии РККА. В период с апреля 1931 по декабрь 1934 года был командиром и военкомом 53-й Пугачёвской дивизии. С 1937 года — командир 18-й стрелковой дивизии.
В 1938 году — командир 17-го стрелкового корпуса. С августа 1938 года — командующий войсками только что созданного Калининского военного округа.
В 1939 году И. В. Болдин командовал конно-механизированной группой во время похода советских войск в Польшу. Были взяты города Новогрудок, Слоним, Волковыск, Гродно, Белосток, Барановичи.
После участия в инспекционной поездке в Латвию был назначен командующим войсками Одесского военного округа, а в сентябре 1940 года переведен в Западный Особый военный округ на должность первого заместителя командующего войсками.
Начало Великой Отечественной войны встретил в той же должности. В конце июня 1941 года получил приказ организовать контрудар по немецким войскам силами конно-механизированной группы (КМГ), в состав которой были включены четыре танковых и две моторизованные дивизии, кавалерийский корпус, а также отдельный гаубичный полк, с задачей окружить и уничтожить превосходящими силами противника в районе Гродно — Меркине. Однако КМГ Болдина с поставленными задачами не справилась, сама вскоре была окружена и разгромлена в районе Белостока, а спустя месяц И. В. Болдин вышел с остатками войск из окружения.
С октября 1941 командующий 19-й армией, а с ноября 1941 по февраль 1945 — командующий 50-й армией.
В апреле 1945 года Болдин был назначен заместителем командующего 3-го Украинским фронтом. После войны Болдин командовал армией, войсками Восточно-Сибирского Военного округа (с марта 1951 по апрель 1953), был 1-м заместителем командующего войсками Кавказского Военного Округа(с октября 1953 и по май 1958).
С 1958 года Болдин находился в Группе генеральных инспекторов Министерства обороны СССР.
В городах Туле и Калуге одна из улиц названа его именем.