Родился шестым ребёнком в крестьянской семье. Белорус. Работал по найму в селе, окончил сельскую школу. С 1930 года — секретарь кустовой ячейки Макаровского сельсовета Горецкого уезда, затем работал на корпичном заводе в г.Горки. Окончил 2 курса Оршанского педагогического техникума в 1932 году.
В 1932 году мобилизован в Красную Армию. Окончил Белорусскую Объединённую военную школу имени М. И. Калинина в Минске в 1934 году, направлен служить командиром учебного взвода в 27-ю Омскую Краснознамённую стрелковую дивизию (Витебск).
В 1935 году окончил Ленинградские бронетанковые курсы усовершенствования комсостава имени А. С. Бубнова. Служил в Белорусском военном округе — командир танкового взвода, командир танковой роты, начальник штаба танкового батальона, преподаватель Пуховичского пехотного училища, командир учебного танкового батальона. Командовал танковой ротой в Польском походе РККА в сентябре 1939 года в составе войск Белорусского фронта, и в советско-финской войне 1939—1940 гг.
В Великую Отечественную войну майор Якубовский вступил в должности командира учебного танкового батальона 26-й танковой дивизии 20-го мехкорпуса Западного фронта. Участвовал в оборонительных боях в Белоруссии, участвовал в обороне Минска. В июле 1941 года — командир 51-го танкового полка 26-й танковой дивизии 20-го мехкорпуса, сражался в осаждённом Могилёве, был представлен к ордену "Красного Знамени". В июле–сентябре 1941 года — командир танкового полка 121-й бригады 3-й армии Западного фронта (Орловское направление). В сентябре–декабре 1941 года — в резерве.
С января 1942 года — заместитель командира 91-й танковой бригады, участвовал в Барвенковско-Лозовской наступательной операции. С марта 1942 года — командир 91-й танковой бригады, отличился в оборонительных боях в Донбассе летом 1942 года, в оборонительном и наступательном этапах Сталинградской битвы, сражаясь на Южном, Юго-Западном, Сталинградском и Донском фронтах. Полковник (30.11.1942).
Весной 1943 года бригада была переброшена на Центральный фронт и включена в состав 3-й гвардейской танковой армии, в которой воевал до конца войны. Во главе бригады геройски сражался на Воронежском, Брянском, Центральном, 1-м Украинском фронтах в Курской битве на Орловском направлении, в Битве за Днепр, в освобождении Киева и Фастова. За героизм в боях за Фастов, где бригада только за день боя уничтожила 30 танков врага, полковнику И. И. Якубовскому 10 января 1944 года присвоено звание Героя Советского Союза. Весной 1944 года танковая бригада полковника Якубовского успешно действовала в Проскуровско-Черновицкой наступательной операции.
С июня 1944 года Якубовский — заместитель командира 6-го гвардейского танкового корпуса 3-й гвардейской танковой армии. Участвовал в Львовско-Сандомирской операции, в боях по обороне и расширению Сандомирского плацдарма, в Висло-Одерской операции в январе 1945 года. В этих операциях командовал передовыми отрядами корпуса, действуя на острие удара танковой армии. За геройские действия в Львовско-Сандомирской операции полковнику Якубовскому вторично присвоено звание Героя Советского Союза указом от 23 сентября 1944 года.
С апреля 1945 года — заместитель командира 7-го гвардейского танкового корпуса в той же армии, участвовал в Берлинской и Пражской операциях. Генерал-майор танковых войск (20.04.1945). Отличался выдающимся личным мужеством, мастерством принятия нестандартных решений, умением действовать самостоятельно. В годы войны несколько раз был ранен, горел в танке.
После войны продолжил службу заместителем командира танкового корпуса в Ленинградском военном округе. В 1948 году окончил Военную академию Генерального штаба. С марта 1948 года — командир танковой дивизии в Белорусском военном округе. С апреля 1952 года — командующий бронетанковыми и механизированными войсками Прикарпатского военного округа. Генерал-лейтенант танковых войск (3.05.1953). С декабря 1953 года командовал танковой армией, с апреля 1957 года — механизированной армией.
С июля 1957 года — первый заместитель Главнокомандующего Группы советских войск в Германии. Генерал-полковник (18.08.1958). В апреле 1960 года назначен Главнокомандующим Группы советских войск в Германии. В разгар Берлинского кризиса, когда резко обострилась угроза вооружённого конфликта в Европе, Главнокомандующим Группы советских войск в Германии был назначен Маршал Советского Союза И. С. Конев (август 1961 года), а Якубовский был переведён на пост его первого заместителя, при этом продолжая руководить повседневной деятельностью ГСВГ. Генерал армии (27.04.1962). После стабилизации обстановки в апреле 1962 года Якубовский вновь возвращён на должность Главнокомандующего Группы советских войск в Германии. С января 1965 года — командующий войсками Киевского военного округа.
С апреля 1967 года — первый заместитель Министра обороны СССР, с июля 1967 года одновременно и Главнокомандующий Объединёнными вооруженными силами государств — участников Варшавского договора. 12 апреля 1967 года, одновременно с назначением А. А. Гречко министром обороны, а Якубовского — его первым заместителем, Якубовскому присвоено звание Маршала Советского Союза.
По многочисленным воспоминаниям сослуживцев, маршал Якубовский был яркой и самобытной личностью. По количеству историй армейского фольклора о нём, он может соперничать, пожалуй только с командующим ВДВ генералом армии В. Ф. Маргеловым. Непримиримый противник показухи, человек исключительной честности.
Похоронен на Красной площади в Стене Коммунаров.