Иван Гурьевич Руфанов родился 15 января 1884 года в Переславле-Залесском, в многодетной бедной семье местного фельдшера. Учился в переславском приходском училище. В 1905 году окончил курс Владимирской духовной семинарии.
В 1911 году окончил Медицинский факультет Московского университета. Оставлен ординатором в хирургической госпитальной клинике, которой руководил профессор-хирург А. В. Мартынов. С началом Первой мировой войны ушёл добровольцем в армию в качестве хирурга. С 1918 до 1923 года служил в Красной Армии. Демобилизовавшись, возвратился в клинику Мартынова на должность ассистента. В 1924 году защитил докторскую диссертацию на тему «Панкреатиты в связи с заболеваниями желчных путей (холецистопанкреатиты)».
В 1930 году возглавил кафедру общей хирургии 2-го Московского медицинского института, одновременно являясь деканом и заместителем директора института. С 1938 года по совместительству заместитель начальника Главного управления учебных заведений Наркомздрава СССР. С 1939 года руководитель хирургического отделения Всесоюзного института экспертизы трудоспособности.
В 1941—1945 годах главный хирург управления эвакогоспиталями Наркомздрава СССР. В 1943 году впервые в СССР стал применять пенициллин для лечения раненых. В 1942—1952 годах возглавлял кафедру общей хирургии 1-го Московского медицинского института, базировавшуюся в больнице № 23 объединения «Медсантруд». Проводил научную разработку проблемы ран. Впоследствии работал деканом медицинского факультета 1-го Московского университета. В 1956 году Руфанов на базе больницы имени С. П. Боткина организовал лабораторию по клинической апробации антибиотиков.
С 1944 года действительный член Академии медицинских наук СССР. Долгие годы был членом её Президиума.
Являлся членом редколлегий журналов «Госпитальное дело», «Клиническая медицина», «Хирургия», членом экспертной комиссии ВАК, член правления хирургического общества Москвы и Московской области, заместителем председателя Всесоюзного общества хирургов, возглавлял клиническое отделение Комитета по антибиотикам, в течение многих лет был руководителем Учёного Совета Минздрава СССР. Многократно избирался депутатом Московского Совета депутатов трудящихся.
Руфанов изучал столбняк и сепсис, что позволило до появления антибиотиков успешно бороться с этими осложнениями. Впервые в СССР провёл всестороннее изучение действия пенициллина и продления его действия с помощью пирамидона.
Под руководством Руфанова защищено 12 докторских и более 30 кандидатских диссертаций. Он автор 4 монографий и свыше 150 научных работ. Написал ряд популярных брошюр.
Умер 15 июня 1964 года. Похоронен на Новодевичьем кладбище.