Иоаким Тартаков родился в Одессе в еврейской семье. Окончил Петербургскую консерваторию, ученик Камилло Эверарди. С большим успехом дебютировал в 1881 году в Одессе. В следующем году пел в Санкт-Петербурге, выступал до 1884 года на сцене Императорского Мариинского театра. Затем несколько лет гастролировал по стране, пел в Киеве, Тбилиси, на сценах провинциальных оперных театров. В 1894 году возвратился в Санкт-Петербург и до конца жизни выступал в Мариинском театре, а с 1909 года также занимал должность главного режиссёра. Гастролировал в Англии, Германии, Дании.
С 1920 года И. В. Тартаков — профессор Петроградской консерватории. В 1923 году ему присваивается звание Заслуженного артиста Республики.
По утверждению дирижёра Антона Шароева (и писателя Осипа Дымова на основании распространённых в ту пору слухов), был внебрачным сыном Антона Рубинштейна; Шароев же утверждает, что внебрачным сыном Тартакова был его отец пианист Георгий Шароев, в молодости выступавший с Тартаковым как аккомпаниатор и фигурировавший в афишах как Георгий Тартаков.
Первый исполнитель в России заглавной партии в опере Тома «Гамлет», а также первый исполнитель в Мариинском театре партий Григория Грязного («Царская невеста» Н. Римского-Корсакова), Зурги («Искатели жемчуга» Ж. Бизе), Дон-Карлоса («Каменный гость» А. Даргомыжского.
Среди других партий в репертуаре И. Тартакова: