С августа до декабря 1920 года был сотрудником разведки штаба 4-й армии, нелегально работал на территории Польши. С марта 1921 года стал сотрудником Иностранного отдела ВЧК, в 1921—1922 годах работал в Нидерландах, а в 1923—1924 годах находился на нелегальной работе в Германии. С конца 1924 года являлся помощником резидента ОГПУ в Греции. В декабре 1925 года был арестован, а затем состоялся его обмен на секретаря греческого посольства, арестованного в Москве. В середине 1926 года Мильграм был назначен резидентом ИНО ОГПУ в Шанхае, возвратился в Москву в июле 1927 года.
В 1928 году был направлен в постоянное представительство ОГПУ в Минске для выполнения специальных разведывательных заданий. С января 1930 года по сентябрь 1934 года проходил курс обучения в Институте красной профессуры. Одновременно был преподавателем специальных дисциплин в Высшей школе ОГПУ. С сентября 1934 года работал в Академии наук СССР, являлся ученым секретарем Института экономики.
В феврале 1937 года он был исключен из партии, в мае — арестован вместе с женой, мачехой Л. И. Мильграма.
10 марта 1938 года И. В. Мильграм был расстрелян, посмертная реабилитация состоялась в 1956 году. Его супруга прошла через тюрьму, лагеря и ссылку как «член семьи изменника родины».