Впервые Иван Большой упомянут в разрядах в 1539/1540 году, когда он был послан воеводой в Муром, где участвовал в обороне города от набега крымского хана Сафа-Гирея. В малолетство Ивана Грозного активно участвовал в борьбе за власть при дворе на стороне князей Шуйских. В это же время неоднократно назначался воеводой в различных походах. При этом падение Шуйских никак не отразилось на его карьере.
После того, как власть оказалась в руках Ивана Грозного, Иван Шереметев продолжал получать назначения воеводой в различные полки. В 1547 году он отправился вместе с царём в поход на Казань, однако цели поход не достиг, вернувшись в Москву в феврале 1548 года. Однако именно после этого похода в 1548/1549 году Иван Большой стал окольничим в награду за хорошую службу. В том же году он принял участие в походе в Казань, где был ранен. А в 1550 году уже упоминается как боярин, в этом чине он присутствовал на свадьбе князя Владимира Андреевича Старицкого.
В 1555 году, во время движения в Крым во главе 9-тысячного отряда, воевода Шереметев узнал о движении к Туле 60-ти тысячного войска крымского хана Девлет-Гирея и двинулся за противником. 3-4 июля в сражении у села Судбищи (в 150 км от Тулы), несмотря на значительное численное превосходство крымцев, вступил в бой и нанёс поражение ханскому авангарду. При этом захватил знамя противника. На второй день получил в бою тяжелое ранение. Руководство отрядом перешло к воеводам Басманову и Сидорову. Под их руководством русский отряд продержался до темноты. Ночью Девлет-Гирей, узнав о приближении к Туле царского войска, начал общий отход.
В 1560-х годах занимался строительством крепости Городенск (современный город Венёв), которая затем ему принадлежала и была конфискована при дальнейшей опале.
В 1562/1563 году Иван Большой вместе с Алексеем Адашевым и Иваном Висковатым был обвинён в том, что они «ссорили крымского хана с московским государем», подвергся опале и ссылкам. Однако уже в 1564 году о нём была взята «поручная запись», а опала снята. При этом несмотря на опалу в 1562—1564 годах Иван был воеводой в различных походах. А в 1565—1567 годах Иван неоднократно упоминается в дворцовых разрядах как один из старейших бояр, которых царь Иван Грозный оставлял в Москве управлять городом в своё отсутствие.
После смерти жены и гибели митрополита Филиппа в 1570 году Иван Шереметев принял монашеский постриг под именем Ионы в Кирилло-Белозерском монастыре, где и умер в 1577 году.
Отец: Василий Андреевич (старец Вассиан) (ум. 1548) — в 1537/1538 пострижен в монахи.
Братья:
Жена: Евдокия (ум. 1568).
Дети: