Родился в 1865 году в Нижнем Новгороде Поступил в Александровский лицей и одновременно в Санкт-Петербургский университет как вольнослушатель курсов политической экономии и финансов. После окончания этих курсов сдал экзамен в Совете Александровского лицея
В 1885 г. определён на службу в канцелярию Департамента окладных сборов, где до 1891 г. служил сначала в должности помощника столоначальника, а затем столоначальника этого департамента. В 1887 г. произведён в коллежские асессоры, в 1890 г. — в надворные, в 1892 г. — в коллежские советники.
В сентябре 1888 г. командирован в комиссию по пересмотру законов о земском обложении. В феврале 1889 г. назначен делопроизводителем этой комиссии. Затем служил податным инспектором Калязинского уезда Тверской губернии, работал в канцелярии Комитета министров, где занимал должности помощника начальника и начальника отделения. В 1894 г. снова перешёл на службу в Министерство финансов.
В 1894—1897 гг. являлся вице-директором Особенной канцелярии по кредитной части. В 1897 г. назначен директором Общей канцелярии министра финансов. В 1898 г. был назначен председателем Особой комиссии по пересмотру монетного Устава. В 1895 г. пожалован в статские советники, с 1896 г. — в действительные статские, в 1904 г. — в тайные советники.
C 1902 по 1905 г. — директор департамента Государственного казначейства. Также в 1902—1905 годах состоял управляющим делами особого совещания о нуждах сельскохозяйственной промышленности.
19 июня (2 июля) 1905 года был командирован в Вашингтон для участия в мирных переговорах с японскими уполномоченными «в помощь российскому Главноуполномоченному в качестве делегата-специалиста по вопросам финансового характера».
Во время всеобщей политической забастовки в октябре 1905 года, Шипов, будучи директором департамента государственного казначейства, дал серьёзный отпор агитаторам, группами заходившим в министерство и уговаривавшим служащих прекратить работу.
После подписания Портсмутского мира 28 октября (10 ноября) 1905 года назначен министром финансов в кабинете гр. С. Ю. Витте (сменил Коковцова), однако занимал этот пост всего 6 месяцев.
Зимой 1905—1906 года И. П. Шипов как министр финансов совместно с управляющим Крестьянским банком А. И. Путиловым, с согласия Витте обратились к губернаторам, предводителям дворянства и земств с просьбой уговорить помещиков продать до весеннего сева достаточное количество земли Крестьянскому банку для перепродажи крестьянам, чтобы те поверили, «что можно и без захватов надеяться на осуществление обещаний правительства». Путилов предупреждал, что
По мнению д.и.н. Дякина, премьер-министр Витте и министр земледелия Н. Н. Кутлер «надеялись: появление такого закона подтолкнёт, наконец, помещиков к мирным соглашениям с банком». Однако «помещики в провинции публично называли Кутлера „мерзавцем, висельником, анархистом“. К Николаю пошли записки, в которых Кутлера, Шилова и Путилова обвиняли в „революционных замыслах“ и требовали заменить Витте „лицом более твердых государственных принципов“». В результате царь 4 (17) февраля 1906 года отправил в отставку министра земледелия Кутлера, а 24 апреля (7 мая) 1906 года, за несколько дней до созыва I Думы, отправил в отставку Витте вместе со всем его кабинетом.
Одновременно с другими членами Совета Министров был освобождён от занимаемой должности и И. П. Шипов, с оставлением в ранге члена Совета Государственного банка от Министерства финансов (с 1906 г. И. П. Шипов также член Комитета финансов). В 1908 году назначен министром торговли и промышленности и вошёл в Совет Министров. Газета «Русское слово» сообщала:
В конце марта 1908 г. И. П. Шипов внёс в Совет министров законопроекты о страховании рабочих от несчастных случаев и на случай болезни, о страховых присутствиях и о Главном страховом совете. Для их обсуждения было созвано межведомственное совещание под председательством товарища министра торговли и промышленности М. А. Остроградского, куда были приглашены и представители ведущих торгово-промышленных организаций. Здесь законопроекты были подвергнуты острой критике. В очередной раз возникла тупиковая ситуация, поскольку стороны не достигли согласия по основным спорным вопросам. Под предлогом необходимости завершить окончательное редактирование законопроектов заседания совещания прекратились в апреле 1908 г..
Пост министра торговли и промышленности И. П. Шипов занимал только один год. 14 (27) января 1909 года на его место был назначен В. И. Тимирязев, а И. П. Шипов был назначен членом Государственного Совета. Предлагавшиеся Шиповым страховые законопроекты были приняты Думой после продолжительных дебатов только в январе 1912 года.
22 апреля (5 мая) 1914 года И. П. Шипов назначен на должность Управляющего Государственным банком. Последнюю должность, а также членство в Комитете финансов и Государственном совете сохранял до 1917 года.
На второй день после революции, 8 ноября 1917 г. И. П. Шипов дал указание прекратить обслуживание клиентов. Однако одновременно Госбанк продолжал осуществлять эмиссионную функцию, то есть выдавать наличность. С 8 по 23 ноября было выдано разным клиентам 610 млн руб., и ещё 459 млн рублей было выслано в конторы и отделения. Отказался И. Д. Шипов и принять карточку с образцами подписей для открытия счёта СНК. Это было расценено как саботаж. 21 ноября вопрос о саботаже чиновников Минфина и Госбанка обсуждался на заседании ЦК РСДРП(б) и ВЦИК. Была принята резолюция ВЦИК «О борьбе с саботажем чиновников Государственного банка», предписывавшая Совнаркому применить самые энергичные меры для немедленной ликвидации саботажа. В частности, в ней говорилось (названия учреждений сокращены):
11 (24) ноября 1917 года за саботаж (отказ признать распоряжения Совнаркома) Управляющий Госбанком И. П. Шипов был уволен без права на пенсию. В этот же день Госбанк возобновил обслуживание клиентов, то есть саботаж прекратился. По воспоминаниям В. Б. Лопухина:
Перебрался из Петрограда в Екатеринодар, где в 1919 г. стал членом Особого совещания при главнокомандующем Вооружёнными силами на юге России (ВСЮР). Затем переехал в Ростов-на-Дону, где принимал активное участие в формировании Центрального управления Государственного банка ВСЮР.
Дата смерти неизвестна. По некоторым сведениям, умер в Ростове-на-Дону от тифа в конце 1919 г.[уточнить].
По поручению канцелярии комитета министров составил книгу: «Германская колонизация польских провинций Пруссии по закону 26 апреля 1886 года» (1894).
В изданном Министерством финансов для парижской выставки 1900 года сборнике: «Россия в конце XIX века» поместил статью «Монетная система и денежное обращение».
Награждён орденами св. Владимира III степени, св. Станислава I степени, св. Анны I степени, св. Владимира II степени, Белого Орла.
Получил Высочайшее разрешение принять и носить иностранные ордена:
И. П. Шипову были вручены медали: серебряная для ношения на груди в память царствования императора Александра III и серебряная для ношения в петлице на Андреевской ленте «в память Священного Коронования Его Императорского Величества».