Сын учителя. Украинец. Детство провел в селе Шуманы. В 1914 году вступил в РСДРП, большевик. Будучи гимназистом, в 1915 году за распространение листовок и хранение оружия был осуждён на пожизненное поселение в Восточной Сибири. Освобождённый Февральской революцией, стал членом Киевского комитета большевиков.
Являясь делегатом II Всероссийского съезда Советов, во время Октябрьского переворота командовал отрядом при взятии Зимнего дворца, а затем при подавлении выступления генерала П. Н. Краснова командовал красными отрядами под Гатчиной.
В январе 1918 года сформировал 1-й полк Червонного казачества из добровольцев — солдат, студентов и рабочих. Полк дислоцировался в течение двух месяцев в Почепе. Полк вскоре стал бригадой, а затем был развёрнут в дивизию.
В сентябре 1919 года кавалерийская дивизия Червоного казачества под командованием Примакова на протяжении месяца защищала Чернигов от деникинцев, демонстрируя исключительную стойкость.
С октября 1920 — командир 1-го Корпуса Червоного казачества. За бои под Орлом — Курском и успехи в советско-польской войне награждён двумя орденами Красного Знамени (1920, 1921).
Образование получил на Военно-академических курсах высшего комсостава РККА (1923).
В 1924—1925 гг. — начальник Высшей кавалерийской школы (Ленинград). В 1925—1926 гг. был военным советником 1-й Национальной армии в Китае.
В 1927 году — военный атташе в Афганистане. В 1929 году возглавил «афганский отряд» в две тысячи сабель при орудиях-пулемётах. 15 апреля 1929 года отряд Примакова, бойцы и командиры которого были одеты в афганскую форму, при поддержке авиации атаковал афганский пограничный пост. Советские войска действовали на территории Афганистана полтора месяца. За это время они взяли города Мазари-Шериф, Балх, Ташкурган и более мелкие населённые пункты. Примаков, по легенде, действовал под именем Рагиб-бея. В литературе его окрестили красным Лоуренсом. Когда стало известно, что Аманулла решил прекратить вооружённую борьбу и бежал в Индию, и продолжение экспедиции выглядело бы как агрессия против суверенной страны, Сталин приказал отозвать советские войска.
В 1930 году — военный атташе в Японии. В 1931—1933 гг. командовал корпусом. В 1933—1935 гг. — заместитель командующего Северо-Кавказским военным округом, заместитель инспектора высших военно-учебных заведений. С 1935 года — заместитель командующего Ленинградским военным округом.
Он дал показания, по которым позже были арестованы многие командиры и комиссары, в том числе А. И. Геккер, Б. С. Горбачев, И. С. Кутяков и другие. Признал себя виновным в участии в антисоветском, троцкистском, военно-фашистском заговоре. Вместе с М. Н. Тухачевским, И. Э. Якиром, И. П. Уборевичем специальным присутствием Верховного суда СССР 11 июня 1937 года приговорён в смертной казни. Расстрелян.
В 1957 году реабилитирован.
Был трижды женат: первым браком на Оксане Коцюбинской, дочери украинского классика писателя Михаила Коцюбинского и сестре известного украинского большевика Юрия Коцюбинского, вторым — на Марии Ароновне Довжик (сын от этого брака — Юрий Примаков) и третьим — на Лиле Брик.