Родился в солдатской семье участника русско-турецкой войны. В 1906 году окончил три класса трёхлетней сельской школы. В декабре 1906 года отец увёз его в Симбирск и оставил там работать чернорабочим на крахмально-паточной фабрике. Однако вскоре из-за малых заработков вернулся в село.
Во время революции 1905 года в селе проходили крестьянские волнения, в ходе которых было сожжено имение князя Голицына. После этого в селе начались репрессии со стороны жандармов и армии. Отцу Ивана Тюленева пришлось скрыться из села. Сам Иван летом 1907 года уехал в Астрахань на рыбные промыслы. На рыбных промыслах на Каспии Тюленев проработал до 1913 года и осенью вернулся в Шатрашаны, откуда был призван в армию. Призывной комиссией он был определён в Балтийский флот, но после проверки благонадёжности получил назначение в 5-й драгунский Каргопольский полк, который размещался в Казани. В этом же полку после начала Первой Мировой Войны начинал службу К. К. Рокоссовский.
С началом Первой мировой войны полк был отправлен на фронт в Польшу. Первое боевое крещение Иван Тюленев получил в боях у реки Пилица. В дальнейшем Тюленев в составе полка принимал участие в боях под Краковом и Сандомиром. Летом 1915 года Каргопольский полк провёл в тяжёлых боях у реки Бзура. Осенью 1916 года 5-я кавалерийская дивизия, в которую входил Каргопольский полк, высадилась из эшелонов в районе Паневежиса и с ходу нанесла противнику удар, отбросив его, и перешла в наступление.
За время войны Иван Тюленев не раз проявлял мужество и был четырежды награждён Георгиевским крестом. Дослужился до звания прапорщика, командовал взводом.
С началом Октябрьской революции Тюленев вступил в Красную Гвардию. Был командиром взвода и эскадрона на Восточном фронте. С создания Красной Армии, с февраля 1918 года по декабрь служил командиром взвода, затем эскадрона в 1-ом Московском кавалерийском полку. В декабре 1918 года был направлен слушателем в военную академию в Москву. После окончания курсов служил помощником начальника штаба 4-ой кавалерийской дивизии. В августе 1919 года Тюленев был назначен начальником разведки конного корпуса, а с ноября 1919 года по февраль 1920 года начальником разведотдела 1-й конной армии С. М. Будённого. В феврале 1920 года он был назначен командиром кавалерийской бригады. Воевал в Польше. С декабря 1920 года вновь учится в военной академии. Во время Кроншадтского восстания был командиром 137-го Минского пехотного полка, участвовал в подавлении восстания. Летом и осенью 1921 года участвовал в подавлении Антоновского восстания, исполнял обязанности командира 15-й Сибирской кавалерийской дивизии и командовал 1-й кавалерийской бригадой. После окончания учёбы в октябре 1922 года Тюленев получил назначение на должность командира отдельной кавалерийской бригады в Московском военном округе, а в июле 1924 года принял 14-ю Майкопскую кавалерийскую дивизию.
В июне 1940 года, с введением в РККА генеральских званий, Тюленев стал одним из трёх первых советских генералов армии, наряду с Г. К. Жуковым и К. А. Мерецковым.
С началом Великой Отечественной войны — в той же должности.
С началом Великой Отечественной войны Тюленев был назначен командующим Южным фронтом, во главе его провёл оборонительную операцию в Молдавии. Под натиском противника фронт отступал. И. В. Сталин 14 августа:
В тяжелых боях под Днепропетровском 29 августа 1941 года Тюленев получил тяжёлое ранение и до 13 октября находился на лечении в Центральном военном госпитале в Москве.
После излечения Тюленев был направлен в Уральский военный округ с задачей формирования в течение 2-х месяцев 14 стрелковых и 6 кавалерийских дивизий, а также обучения личного состава дивизий методам современной войны. В ноябре 1941 года часть дивизий была сформированы и составили собой основу Резервной армии, командующим которой был назначен Иван Тюленев. Полоса обороны армии проходила по линии Рыбинск, Углич, Переславль-Залесский, Шуя. Глубина обороны ограничивалась Ярославль, Кострома, Иваново. С наступлением Красной Армии дивизии, вошедшие в состав Резервной армии, были направлены в действующую армию.
В феврале 1942 года Иван Тюленев получил вначале назначение на должность заместителя главнокомандующего Юго-Западного направления, а через несколько дней он был назначен командующим Закавказским фронтом, штаб которого размещался в Тбилиси. По прибытии на место Тюленев занялся переформированием оборонительных рубежей. Учитывая, что прежде не учитывалась возможность вторжения из Турции, а также очевидная слабость рубежей реки Сулак, Тюленев настоял на создании рубежей обороны в районе реки Терек и Грозного. Была усилена оборона Главного Кавказского хребта. События лета 1942 года подтвердили верность решения командующего. 8 августа для оперативного управления войсками была образована Северная группа Закавказского фронта с управлением в Грозном.
С лета 1942 года началась битва за Кавказ. Бои шли на Кубани, в Новороссийске, на Главном Кавказском хребте. Противник рвался к нефтяным богатствам Закавказья. Егерям дивизии «Эдельвейс» удалось водрузить нацистский флаг на Эльбрусе. Однако оборона, выстроенная под руководством Тюленева, выстояла. Гитлеровским войскам не удалось выполнить главную задачу: прорваться к нефтяным месторождениям Грозного и Баку. В январе 1943 года Закавказский фронт начал наступление на Краснодар и Новороссийск. В ходе наступления удалось высадить десант в Мысхако и захватить плацдарм. После передачи Черноморской группы войск в состав Северо-Кавказского фронта, Закавказский фронт остался обеспечивать оборону южных рубежей СССР.
В послевоенное время Иван Тюленев командовал войсками Харьковского военного округа. В 1947 году он был назначен генерал-инспектором кавалерии Главной инспекции Сухопутных войск. С февраля 1947 года по июнь 1948 года в должности заместителя командующего Сухопутных войск, командующего кавалерией. С июня 1948 года и май 1953 года был вначале председателем стрелково-тактического комитета Сухопутных войск, а затем стрелково-тактического комитета Главного управления боевой и физической подготовки Сухопутных войск. С марта 1955 года Тюленев в должности начальника управления вневойсковой подготовки. С мая 1958 года в группе Генеральных инспекторов Министерства обороны СССР.
Звание Героя Советского Союза было присвоено Указом Президиума Верховного Совета СССР 21 февраля 1978 года:
Иван Владимирович Тюленев скончался 15 августа 1978 года. Похоронен на Новодевичьем кладбище в Москве.
Именем И. В. Тюленева названы: