Родился на хуторе Мокрая Ельмута на Дону в семье крестьянина, калмык.
Участник Первой мировой войны, старший унтер-офицер.
Во время гражданской войны сражался на стороне красных: командир эскадрона в полку Будённого, затем полком, кавалерийской бригадой 1-й Конной армии, 4-й (август 1919 - апрель 1920) и 6-й кавалерийскими дивизиями в составе 1-й конной, в июле — августе 1920 — 2-й конной армией. Отличился при разгроме Врангеля, в разгроме отрядов Махно. В 1919 вступил в РКП(б).
Окончил высшие академические курсы (1923), курсы усовершенствования высшего начальствующего состава (1927), курсы при Военно-политической академии (1930), Военную академию им. Фрунзе (1932). Был командиром 1-го конного корпуса Червонного казачества (… - до 06.1932), заместителем командующего Среднеазиатского военного округа (1932-38). В 1937—1946 депутат Верховного Совета СССР. С 1938 инспектор кавалерии РККА. С июня 1941 генерал-инспектор и командующий кавалерией РККА. С 1943 года заместитель главнокомандующего кавалерией.
Во время Великой Отечественной войны в июле 1941 года временно исполнял обязанности командующего 8-й армией Северо-Западного фронта, организовывал оборону на рубеже Западной Двины, руководил формированием кавалерийских частей, был представителем Ставки по руководству кавалерийскими рейдами в тылу противника и во время Сталинградской битвы. Одним из немногих калмыков избежал депортации в 1943 году. После войны оставался в должности заместителя главнокомандующего кавалерией. С 1947 года в отставке.
Имя Городовикова носят: