В 1939 году призван в Красную Армию. Участвовал в советско-финской войне, миномётчик, был ранен. Окончил Кемеровское минимётно-артиллерийское училище в 1940 году.
На фронтах Великой Отечественной войны с июня 1941 года. Воевал на Западном, Волховском, 1-м Украинском, 1-м Белорусском и 2-м Белорусском фронтах. Последовательно был командиром миномётного взвода, миномётной роты, миномётного батальона, миномётного дивизиона, отдельного противотанкового артиллерийского дивизиона, отдельного самоходного артиллерийского дивизиона. Участвовал в Смоленском оборонительном сражении 1941 года, в Калининской оборонительной операции 1941 года, в оборонительном и наступательном этапах Московской битвы, в битве за Днепр, в Корсунь-Шевченковской операции, в Львовско-Сандомирской операции, в Восточно-Прусской операции, в Восточно-Померанской операции, в Берлинской операции.
Проявил себя отважным и талантливым командиром. В конце 1943 года западнее Киева силами своего артдивизиона при поддержке двух взводов противотанковых ружей отбил атаку 50 танков врага, применив методы артиллерийской засады и заманивания врага в огневой мешок. В скоротечном бою противник потерял 17 танков и отказался от дальнейших атак на этом направлении. Войну окончил в северной Германии, в районе города Штеттин. За время войны был ранен 4 раза, награждён 6-ю боевыми орденами. Прошёл путь от лейтенанта до майора.
После Победы год командовал дивизионом, затем поступил в академию. В 1949 году И. К. Яковлев окончил Военную академию бронетанковых и механизированных войск, назначен заместителем командира танкового полка. С 1950 года — командир танкового полка. С 1952 года — заместитель командира, а в 1954—1956 годах — командир механизированной дивизии. В 1958 году окончил Военную академию Генерального штаба.
С 1958 года был начальником отдела Управления военно-учебных заведений Министерства обороны СССР, с 1960 года — начальник отдела в Главном штабе Сухопутных войск, с 1963 года — начальник Программно-уставного управления в Главном управлении боевой подготовки Сухопутных войск. С 1965 года — заместитель командующего войсками Московского военного округа по боевой подготовке.
В 1968 году в звании генерал-лейтенанта танковых войск был назначен на должность начальника Главного управления внутренних войск, внутренней и конвойной охраны Министерства охраны общественного порядка СССР. Впоследствии после реорганизации министерства должность именовалась: начальник Главного управления Внутренних войск МВД СССР — начальник внутренних войск.
Эту должность занимал в течение 18 лет. За это время полностью изменил облик внутренних войск, превратив их из территориальных военизированных формирований в мобильные мощные современные войска, способные выполнять самые сложные правоохранительные задачи. При Яковлеве во Внутренних войсках появились авиационные и морские части, резко выросла боеспособность войск. Следует признать, что благодаря его работе Внутренние войска встретили период многочисленных межнациональных конфликтов и обострения террористической угрозы в готовности отражать эти новые угрозы. Воинское звание генерал армии ему присвоено указом Президиума Верховного Совета СССР от 7 мая 1980 года.
Активно участвовал в ликвидации последствий аварии на Чернобыльской АЭС. Тогда для действий в зараженной зоне было направлено свыше 15 тысяч военнослужащих Внутренних войск. Яковлев лично долгое время находился в районе аварии, решая на месте организацию службы, быта, дезактивационной обработки людей и техники.
В декабре 1986 года после конфликта с новым Министром внутренних дел СССР А. В. Власовым освобождён от занимаемой должности и стал военным инспектором-советником Группы генеральных инспекторов Министерства обороны СССР. С 1992 года — в отставке. Сразу же был назначен консультантом Главнокомандующего Внутренних войск МВД России, активно работая на этом посту до конца жизни.
Жил и скончался в Москве. Похоронен на Троекуровском кладбище.