Происходил из рода князей Тархан-Моурави, был сыном князя Давида Тархан-Моурави и княжны Марты Зурабовны Церетели. Двоюродный брат (по материнской линии) владетельного князя Мегрелии Давида I Дадиани.
По окончании курса в Дворянском полку в 1837 году выпущен прапорщиком в Эриванский карабинерный полк. Дальнейшая вся его служба протекала на родном ему Кавказе в беспрестанных делах с горцами, и чины штабс-капитана (1845), капитана (1846) и полковника (1853) получены за боевые отличия. За отличие в сражении с турками при Курюк-Дара награждён орденом св. Георгия 4-й степени. В 1855 году князь Тархан-Моуравов был назначен командиром Грузинского гренадёрского великого князя Константина Николаевича полка и стоял во главе его до 8 сентября 1859 года, когда с производством в генерал-майоры состоялось назначение его начальником войск в Южном Дагестане и управляющим Казыкумухом. Это был памятный год покорения Восточного Кавказа, когда пал Гуниб и сдался Шамиль. На ответственном посту Тархан-Моуравов тотчас проявил себя и заслужил орден св. Георгия 3-й степени, причём подвиг, послуживший поводом к награждению, изображён так:
В 1860 году Тархан-Моуравов состоял военным начальником Северного Дагестана, а через год отчислен от должности с назначение состоять при Кавказской армии. В 1863 году он был назначен командующим 39-й пехотной дивизией, а через пять лет — Кавказской гренадёрской дивизией. На этом посту, получив в 1871 году звание генерал-адъютанта, Тархан-Моуравов оставался до 1877 года, когда был назначен состоять в распоряжении главнокомандующего Кавказской армией. Скончался Иосиф Давыдович 26 марта 1878 года, проведя за 59 лет жизни 16 лет в походах и военных действиях.
Был женат на княжне Варваре Мамуковне Орбелиани. Его брат Константин был генерал-лейтенантом и губернатором Бакинской губернии.