Родился 16 июля 1828 года в Новгороде в семье генерала Владимира Иосифовича Гурко (1795—1852) и Татьяны Александровны Гурко, урождённой баронессы Корф (1794—1840); сёстры: Софья (1821—1841, фрейлина), Марианна (1823 — после 1844, замужем за Василием Ивановичем Муравьёвым-Апостолом), Мария, Александра.
Воспитанник Пажеского корпуса, из которого выпущен 12 августа 1846 г. корнетом в лейб-гвардии гусарский полк и 11 апреля 1848 г. произведён в поручики. С этим полком Гурко в 1849 г. совершил поход к западным границам Империи, но участие в военных действиях против венгров принять не успел. С декабря 1849 г. Гурко находился в отпуске, по возвращении из которого 23 апреля 1850 г. был произведён в штабс-ротмистры и 30 августа 1855 г. в ротмистры.
Когда началась Восточная война, Гурко, желавший, по его словам, «жить с кавалерией, а умирать с пехотой», выразил желание отправиться в Севастополь и, переименованный из ротмистров гвардии в майоры армии, был в ноябре 1855 г. прикомандирован к Образцовому пехотному полку для ознакомления с пехотной службой, а затем произведён в подполковники и зачислен в Черниговский пехотный полк, стоявший в то время в Крыму на Бельбекских позициях.
Поскольку военные действия в Севастополе к тому моменту уже закончились, Гурко вернулся в лейб-гвардии Гусарский полк прежним чином ротмистра и принял в командование эскадрон. На этом посту Гурко выделился как отличный кавалерийский офицер, образцовый командир и строгий, но умелый воспитатель и учитель солдат; 8 сентября 1859 г. он получил орден св. Анны 3-й степени. Боевая и строевая подготовка его эскадрона обратила на себя особое внимание императора Александра II, и за блестящее состояние его, выказанное на Высочайшем смотре, когда эскадрон Гурко поразил всех лихой джигитовкой на карьере, Гурко был 6 ноября 1860 г. пожалован флигель-адъютантом к Его Императорскому Величеству.
Произведённый 23 апреля 1861 г. в полковники, он 17 марта 1862 г. был отчислен в свиту Его величества и в течение 4 лет, ознаменованных проведением в жизнь реформ Александра II, выполнял ряд ответственных командировок и поручений административного характера в Самарской, Вятской и Калужской губерниях, в частности наблюдал за рекрутскими наборами. Его прямой, беспристрастный, хотя строгий и настойчивый образ действий вызвал даже со стороны оппозиционного «Колокола» Герцена признание, что «аксельбанты флигель-адъютанта Гурко — символ доблести и чести». В 1866 г. Гурко был назначен командиром 4-го гусарского Мариупольского полка.
Произведённый 30 августа 1867 г. в генерал-майоры с назначением в свиту Его Императорского Величества, он был зачислен по армейской кавалерии и в 1869 г. получил в командование лейб-гвардии конно-гренадерский полк. Этим полком Гурко командовал 6 лет и поставил его на образцовую высоту.
В 1874 г. на манёврах Гурко сломал ключицу и был вынужден на некоторое время отказаться от работы в поле, которую считал необходимой и существенно важной для себя как начальника кавалерийской части. Сдав полк, Гурко остался в должности командира 1-й бригады 2-й гвардейской кавалерийской дивизии, которую он соединял ранее с должностью командира полка. 27 июля 1875 г. он был назначен командующим 2-й гвардейской кавалерийской дивизией и 30 августа 1876 г. утвержден в этой должности с производством в генерал-лейтенанты. С прежней энергией Гурко занялся полевым обучением дивизии, положив в основу его взгляды прусского кавалериста генерала Шмидта и опыт франко-прусской войны. За период мирной деятельности Гурко был награждён орденами св. Станислава 2-й степени (17 марта 1864 г.), св. Анны 2-й степени (24 марта 1867 г.), св. Владимира 3-й степени (30 августа 1869 г.), св. Станислава 1-й степени (30 августа 1871 г.), св. Анны 1-й степени (30 августа 1873 г.).
Командированный по Высочайшему повелению в действующую армию на Дунае, Гурко 24 июня 1877 г. был назначен начальником передового её отряда, имевшего задачей «стараться овладеть балканскими проходами». Гурко выполнил эту задачу смело и быстро, искусно сочетав в исполнении её риск с осторожностью и порыв с расчетом. 22 июня передовой отряд выступил в путь, 25 июня овладел Тырновом (ныне Велико-Тырново). 1 июля отряд перешёл Хаинкиойский перевал через Балканские горы (находится между нынешними гг. Велико-Тырново и Гурково). 5 июля Гурко взял Казанлык и город Шипку.
Действия Гурко вызвали в Константинополе панику: все высшие сановники Османской империи как в армии, так и в государственном управлении были сменены, предположенный переход в наступление был приостановлен, часть сил, выдвинутых против Рущукского отряда, была оттянута назад, а из Черногории был вызван Сулейман-паша, и ему было поручено спешное формирование армии для противодействия отряду Гурко.
Получив в подкрепление пехотную бригаду и разрешение «действовать по усмотрению сообразно обстоятельствам», Гурко перешёл за Малые Балканы и под Эски-Загрой (10 июля, ныне Стара-Загора), Ени-Загрой (18 июля, ныне Нова-Загора) и Джуранли (19 июля, ныне с. Калитиново, в 2 км к югу от Стара-Загоры) одержал ещё ряд побед над турками. Эти победы приостановили наступление Сулеймана-паши, но вторая неудача русских под Плевной (18 июля) и невозможность усилить отряд Гурко новыми подкреплениями для решительной борьбы его с армией Сулеймана-паши приостановили дальнейшее движение Гурко. Ему было приказано отойти на север, за проходы. Гурко выполнил эту трудную задачу на виду армии Сулеймана-паши спокойно, безо всяких потерь.
Награждённый 3 июля 1877 г. званием генерал-адъютанта и 8 июля 1877 г. орденом св. Георгия 3-й степени за № 542
В конце июля 1877 г. Передовой отряд русской армии был расформирован. В августе того же года Гурко отправился в Санкт-Петербург, чтобы привести оттуда свою 2-ю гвардейскую кавалерийскую дивизию.
Прибыв с ней 20 сентября под Плевну, он был назначен начальником кавалерии Западного отряда, расположенной на левом берегу р. Вида (Вита). Изучение обстановки привело Гурко к убеждению, что одного наблюдения кавалерией за Софийским шоссе, по которому шли в Плевну к Осману-паше подкрепления и продовольствие, недостаточно; надо встать на этом шоссе твёрдо и перерезать его; только тогда, по мнению Гурко, могла быть достигнута цель блокады. Этот план долженствовал, конечно, привести к ряду кровопролитных боёв, которых после третьего штурма Плевны всячески избегали, но он был верен по существу, и Гурко сумел внушить веру в возможность его осуществления Тотлебену, руководившему блокадой Плевны.
План был принят, а выполнение его поручено самому Гурко, которому для этой цели в начале октября была подчинена не только кавалерия Западного отряда, но и все войска гвардии. Вступая в командование ими, Гурко обратился к войскам со следующими речами. Офицерам он говорил:
Солдатам он сказал:
Назначение Гурко «командующим войсками гвардии и кавалерии» вызвало, по словам М. А. Газенкампфа, большой переполох. В Императорской главной квартире большинство было против этого назначения, так как все начальники гвардейских дивизий и начальник штаба Гвардейского корпуса были старше его в чине. Один только П. А. Шувалов, бывший в то время начальником 2-й гвардейской пехотной дивизии, во всеуслышание говорил, что с радостью подчиняется Гурко, как уже заявившему себя энергичным и способным начальником отряда.
Победы под укреплёнными турками селениями Горный Дубняк (12 октября) и Телиш (12, 16 октября) , сыгравшие решающую роль в исходе Плевненской операции, заставили смолкнуть эти толки, доказав на деле, что гвардия попала в надёжные руки. Награждённый 23 октября за эти тяжёлые победы золотой с алмазами саблей Гурко предложил проект похода к Балканам, а если можно, то и за Балканы, чтобы разбить вновь формировавшуюся армию Мехмета-Али, а при благоприятном исходе этой операции разблокировать и наши шипкинские войска. Этот смелый план нашёл поддержку со стороны императора, который повелел привести его в исполнение; однако осторожный К. В. Левицкий воздействовал на главнокомандующего великого князя Николая Николаевича Старшего и Гурко разрешено было двигаться вперёд лишь до Орхание, а по овладении этим пунктом «постараться занять горы и дальше не идти, пока не будет взята Плевна».
28 октября Гурко занял своей кавалерией г. Врацы (ныне Враца), а затем Этрополь (ныне Етрополе) и Орхание (ныне Ботевград). Турки без боя очистили сильно укреплённые позиции у сс. Врачеш и Лютиково и отступили к Софии; 17 ноября войска Гурко заняли их и 21-го поднялись на Златицкий перевал через Балканы, отразив в тот же день ряд ожесточённых турецких атак на лейб-гвардии Московский полк, занимавший Араб-Конак (Арабаконак).
Дождавшись падения Плевны, Гурко, усиленный IX корпусом и 3-й гвардейской дивизией, в середине декабря двинулся далее и в страшную стужу и в бураны вновь перевалил через Балканы. Когда среди начальствующих лиц, подчинённых Гурко, поднялся ропот, он собрал гвардейское начальство и сказал:
Во время похода Гурко всем подавал пример личной выносливости, бодрости и энергии, деля наравне с рядовыми все трудности перехода, лично руководил подъёмом и спуском артиллерии по обледенелым горным тропам, подбадривал солдат живым словом, ночевал у костров под открытым небом, довольствовался, как и они, сухарями. После 8-дневного тяжёлого перехода Гурко спустился в Софийскую долину, двинулся на запад и 19 декабря после упорного боя овладел Ташкесенской укреплённой позицией турок. Наконец, 23 декабря 1877 года (4 января 1878 по новому стилю) русские войска под предводительством Гурко освободили Софию.
Для организации дальнейшей обороны страны Сулейман-паша привёл с восточного фронта значительные подкрепления армии Шакира-паши, но был разбит Гурко в трёхдневном бою 2-4 января у Филиппополя (Пловдива). 4 января Пловдив был освобождён.
Не теряя времени, Гурко двинул к укреплённому Андрианополю (болг. Одрин, тур. Эдирне) кавалерийский отряд Струкова, который быстро занял его, открыв путь к Константинополю (Стамбулу). В феврале 1878 войска под командованием Гурко заняли местечко Сан-Стефано (ныне Ешилькёй) в западном пригороде Константинополя, где 19 февраля и был подписан Сан-Стефанский мирный договор, положивший конец 500-летнему турецкому игу в Болгарии.
Награждённый 22 января 1879 г. за этот поход орденом св. Георгия 2-й степени за № 118
Гурко 29 декабря 1877 г. был удостоен чина генерала от кавалерии.
По окончании войны некоторое время был в отпуске и 5 апреля 1879 года был назначен помощником главнокомандующего войсками гвардии и Санкт-Петербургского военного округа; с 7 апреля 1879 года по 14 февраля 1880 года занимал пост Санкт-Петербургского временного генерал-губернатора, а с 9 января 1882 года по 7 июня 1883 года был временным Одесским генерал-губернатором и командующим войсками Одесского военного округа, а затем был перемещён на пост Варшавского генерал-губернатора и командующего войсками Варшавского военного округа.
Время управления им губерниями Привислинского края и командования им войсками на западной границе, так называемом «Передовом театре войны», совпавшее с временем наиболее обострённых отношений между Россией и державами Тройственного союза, составило целую эпоху в истории российской внутренней политики в крае. Боевая подготовка войск стояла у него на первом плане, и войска жили в сознании, что они — на передовом театре войны, на боевом посту, в каком-то особенном, полумирном состоянии, которое каждую минуту могло смениться военным. Это напряженное, повышенное состояние войск переносилось ими легко и бодро, ибо войска верили в Гурко, в его полководческие качества: верный стратегический расчёт, несокрушимое при всяких обстоятельствах спокойствие духа, его твердую волю и железную энергию.
Постоянные разъезды Гурко по округу, постоянное присутствие его на маневрах, больших и малых, всегда тщательно организованных при помощи таких начальников штаба, как Нагловский и Пузыревский, свидетельствовали войскам о постоянном хозяйском глазе, от которого ничто и нигде ускользнуть не может. И когда звучал металлический голос Гурко, произнося властно, твёрдо и спокойно: «Чтоб я этого более не видел», то все уже знали, что «этого» более и не будет.
Значительное внимание уделял также фортификационной обороне Варшавского военного округа, усилив укрепления Ивангорода, Новогеоргиевска, Брест-Литовска и Варшавы, создав Варшавский укреплённый район и линию новых укреплённых пунктов (Зегрж, Осовец и др.) и покрыв край сетью стратегических шоссе. Организацией же крепостных маневров он сумел установить живую и тесную связь между войсками и крепостями. Артиллерия получила при нём обширный Рембертовский полигон. Кавалерия, предмет особого внимания Гурко, постоянно была в движении, получая задачи на лихость, быстроту движения, разведку, действия в массах и т. п. Войска втягивались в работу не только летом, на подвижных сборах и маневрах, но и зимой, производя зимние маневры, стрельбы, походные движения с ночлегом в поле, под открытым небом. Весь опыт русско-турецкой войны был использован Гурко широко и полно в течение 12 лет командования им войсками Варшавского военного округа.
Был весьма близок и дружен с министром государственных имуществ М. Н. Островским, который использовал своё влияние на Иосифа Гурко для сглаживания острых конфликтов («пререканий») последнего на посту варшавского генерал-губернатора с министром внутренних дел графом Д. А. Толстым и военным министром П. С. Ванновским.
6 декабря 1894 года, согласно его прошению, по расстроенному здоровью, был уволен от занимаемого поста с производством в генерал-фельдмаршалы «в воздаяние важных заслуг, оказанных престолу и отечеству, особенно в последнюю турецкую войну», с оставлением членом Государственного Совета, в звании генерал-адъютанта и по гвардейской кавалерии. 9 марта 1897 года был избран почётным членом Николаевской академии Генерального штаба.
14 мая 1896 года, в день коронования Николая II, стал кавалером ордена Св. Андрея Первозванного и в том же году назначен шефом 14-й стрелкового батальона, входившего в состав 4-й стрелковой бригады, заслужившей под его началом в 1877 году прозвище «железной бригады». Среди прочих наград, был удостоен орденов Белого Орла (30 августа 1882 г.), св. Александра Невского (30 августа 1884 г., алмазные знаки к этому ордену были вручены 30 августа 1887 г.), св. Владимира 1-й степени (30 августа 1891 г.)
Поселившись в своем любимом имении Сахарово Тверской губернии (ныне отдельно расположенный посёлок в границах города Твери), скончался здесь в ночь на 15 января 1901 года. В 1983 в Сахарово установлен памятник фельдмаршалу.
В «Военной энциклопедии» Сытина дана следующая характеристика Гурко:
22 сентября 2011 года в пос. Сахарово были перезахаронены останки И. В. Гурко и его супруги. На церемонии присутствовал их правнук — В. И. Гурко.
Иосиф Владимирович был женат с 1862 года на графине Марии Андреевне Салиас-де-Турнемир (1838/1842—1906), дочери писательницы Евгении Тур.
У них были дети:
Болгарский народ и по сей день чтит память Иосифа Владимировича. В сознании болгар его имя связано основном с обороной Шипки, а для жителей болгарской столицы Софии — и с освобождением их города. В честь генерала названо три населённых пункта в Болгарии — город Гурково, село Гурково (Добричская область) и село Гурково (Софийская область). Один из самых больших бульваров в Софии также назван его именем — тот, по которым он прошёл 4 января 1878 со своими войсками, освободившими Софию от пятивекового османского ига. По всей стране в разных городах именем Гурко названы улицы. В селе Бошуля установлена памятная доска на стене дома, где помещался штаб генерала Гурко.
1 июня 2005 в Софию приезжала и была сердечно принята его внучка — Екатерина Васильевна.
4 января 2008 в честь 130-й годовщины освобождения болгарской столицы от османского ига состоялась историческая реконструкция прихода генерала Гурко с русскими войсками в Софию.