Родился в слободе Марковка в семье бедного украинского крестьянина Ивана Ивановича Ерёменко (1872—1902). Был призван в Российскую императорскую армию в 1913 году, во время Первой мировой войны воевал рядовым на Юго-Западном и Румынском фронтах. После Октябрьской революции 1917 года в звании унтер-офицера вернулся домой. Весной 1918 организовал партизанский отряд для борьбы против немецких частей, оккупировавших Луганщину. Впоследствии отряд влился в Красную Армию.
В годы гражданской войны Ерёменко воевал в 1-й Конной армии С. М. Будённого, был красноармейцем, помощником командира взвода, старшиной эскадрона, начальником разведки кавалерийской бригады, помощником начальника штаба этой же бригады по оперативной части, начальником полковой школы, начальником штаба 79-го кавалерийского полка в 1-й бригаде 14-й кавалерийской дивизии Первой конной армии.
После Гражданской войны проходил обучение в Ленинградской Высшей кавалерийской школе (окончил в 1923 году) и на Ленинградских кавалерийских курсах усовершенствования командного состава (окончил в 1925 году). С октября 1925 года — начальник штаба, с декабря 1929 года — командир 79-го (затем 55-го) кавалерийского полка в 14-й кавалерийской дивизии. В 1931 году он окончил курсы командиров-единоначальников при Военно-политической академии РККА имени Толмачёва, в 1935 году окончил Военную Академии имени М. В. Фрунзе. С января 1936 года — помощник командира, с июля 1937 года — командир 22-го кавалерийского полка. С августа 1937 года — командир 14-й кавалерийской дивизии, в которой воевал в гражданской войне и служил более 10 лет после её окончания.
В июне 1938 года стал командиром 6-го кавалерийского корпуса, сформированного из частей Первой Конной армии и дислоцированного в Белорусском военном округе. В сентябре 1939 года Ерёменко во главе корпуса принимал участие в походе РККА в Западную Белоруссию. Комкор (04.11.1939). С июня 1940 года — командир 3-го механизированного корпуса в Белоруссии. В декабре 1940 года назначен командующим войсками Северо-Кавказского военного округа, но не вступив в должность, через несколько дней, в январе 1941 года назначен командующим 1-й Краснознамённой армией на Дальнем Востоке.
Через восемь дней после начала войны Ерёменко вызван в Москву, где он был назначен командующим Западным фронтом, после того как предыдущий командующий — генерал армии Д. Г. Павлов — был отстранён от командования и вскоре расстрелян. Ерёменко руководил фронтом до прибытия маршала С. К. Тимошенко, после чего назначен заместителем командующего фронтом.
Катастрофические поражения первых недель войны полностью разрушили Западный фронт. В начале июля Западному фронту переданы войска Второго стратегического эшелона в количестве 7-и армий, общей численностью более 1 млн человек, и более 2000 танков, но сдержать наступление противника не удалось. Немецкие войска успешно переправились через Березину, Днепр и Западную Двину, при этом захватили Полоцк, Витебск, Оршу, Могилёв, Борисов, Бобруйск, Смоленск. За три недели фронт откатился на восток на 200 км (См. Смоленское сражение (1941)). В ходе боёв Ерёменко был ранен, после чего его перевели на только что созданный Брянский фронт.
Ерёменко дал лично Сталину обещание «разбить подлеца Гудериана», однако не смог помешать Гудериану замкнуть с севера кольцо окружения вокруг армий Юго-Западного фронта (известное как Киевская катастрофа) в сентябре 1941 года, а через месяц и сам был разбит Гудерианом.
В октябре 1941 германские войска начали наступление на Москву (Операцию «Тайфун»). В результате обходного маневра танковой группы Гудериана войска Брянского фронта под командованием Ерёменко попали в окружение восточнее Брянска (См. Вяземская операция). Удар Гудериана был настолько неожиданным, что немецкая механизированная колонна буквально напоролось на штаб фронта, продвигаясь к Брянску. Еременко лично возглавил атаку на колонну, что дало возможность эвакуировать штаб без существенных потерь. В то же время Ставка, получив радиограмму о разгроме штаба фронта, и посчитав Еременко погибшим, назначала командующим фронтом командующего 50-й армии. В оперативном окружении оказались 3-я, 13-я и 50-я армии РККА. С 9 октября части начали отход организованным порядком и с боями вышли из окружения и организовали новый рубеж обороны по линии Курск — Мценск. В окружение попал и сам Ерёменко. При попытке выхода из окружения 13 октября советский полководец был серьёзно ранен и был эвакуирован в Москву специально присланным за ним самолётом.
В декабре 1941 года Ерёменко был назначен командующим 4-й ударной армии, которая входила в состав Северо-Западного фронта и Калининского фронта и принимала участие в контрнаступлении советских войск под Москвой. Там войска его армии достигли, пожалуй, наилучших результатов в зимнем наступлении 1942 года — были прорваны оборонительные рубежи врага, за месяц боёв враг был отброшен на 250 километров, освобождены города Андреаполь, Торопец, Велиж, охвачена с севера Ржевская группировка противника и с юга — Великолукская группировка. 20 января, во время бомбёжки немецкими самолётами штаба войск, Ерёменко был снова ранен. Он отказался от отправки в тыловой госпиталь и ещё в течение 23 дней продолжал руководить боевыми действиями. Только 15 февраля он был доставлен в госпиталь, где находился до августа 1942 года.
В августе 1942 Ерёменко был назначен командующим Юго-Восточного фронта, где предпринял контратаки против немецких войск во время Операции «Блау». 28 сентября 1942 года Юго-Восточный фронт был переименован в Сталинградский фронт. Почти четыре месяца войска Ерёменко сдерживали наступление противника в Сталинградской битве. Во время операции «Уран» в ноябре 1942 года, войска Ерёменко прорвали оборонительные рубежи противника южнее Сталинграда и соединились с войсками генерала Н. Ф. Ватутина, замкнув тем самым кольцо окружения вокруг 6-й немецкой армии генерала Фридриха Паулюса. Немецкий генерал Эрих фон Манштейн попытался в декабре 1942 года контратаковать советские войска и деблокировать армию Паулюса, но войска Ерёменко остановили его наступление, а затем отбросили на исходные рубежи в ходе Котельниковской операции. В итоге 6-й немецкой армии была большей частью уничтожена, её остатки капитулировали 2 февраля 1943 года.
1 января 1943 года Сталинградский фронт был переименован в Южный фронт. Войска фронта продвинулись в направлении Ростова-на-Дону более чем на 200 километров, но из-за ослабления ударной группировки не смогли перехватить пути отхода германских войск с Северного Кавказа. 2 февраля Ерёменко по состоянию здоровья был снят с должности командующего и отправлен в Москву в распоряжение И. В. Сталина, а в дальнейшем — на лечение в одну из кавказских лечебниц.
В апреле 1943 года Ерёменко был назначен командующим войсками Калининского фронта, который оставался относительно спокойным до сентября, когда Ерёменко провёл небольшое, но успешное наступление в районе Невеля. С октября 1943 года командовал 1-м Прибалтийским фронтом. В феврале 1944 года Ерёменко был ещё раз переведён на юг, на этот раз для командования Отдельной Приморской армией, которая имела задачу ударом с Керченского плацдарма соединиться с 4-м Украинским фронтом генерала Фёдора Толбухина. Эта задача была успешно решена в ходе Крымской операции. Когда войска армии соединились с войсками 4-го Украинского фронта, она была включена в состав фронта, а Ерёменко переводится на самостоятельную командную работу — командовать 2-м Прибалтийским фронтом. Во время летнего стратегического наступления Красной Армии 1944 года войска фронта провели успешную Режицко-Двинскую наступательную операцию, обеспечивая с севера главный удар советских войск в Белоруссии. Потери противника убитыми и пленными составили свыше 30 000 человек. За эту операцию Ерёменко было присвоено звание Героя Советского Союза. В августе 1944 года провёл Мадонскую операцию.
В ходе Прибалтийской операции осенью 1944 года войска 2-го Прибалтийского фронта наступали на Ригу, ведя упорные бои на многочисленных оборонительных рубежах со значительными потерями. Только после успеха войск соседнего фронта генерала И. Х. Баграмяна, сумевшего прорваться к Балтийскому морю и блокировать 30 немецких дивизий в Латвии, войска Ерёменко смогли освободить Ригу.
26 марта 1945 года Ерёменко переводится на должность командующего войсками 4-го Украинского фронта, которым он командовал до окончания войны. Войска фронта действовали в восточной Чехословакии. На этом посту Ерёменко провел Моравско-Остравскую операцию, в ходе которых были освобождены Словакия и восточные районы Чехии. Победу его войска встретили на восточных подступах к Праге. В Чехии до сих пор некоторые улицы носят его имя.
После войны Ерёменко занимал три важных должности: в 1945—1946 годах он был командующим Прикарпатского военного округа, в 1946—1953 годах — командующим Западно-Сибирского военного округа и в 1953—1958 годах — командующим Северо-Кавказского военного округа. 11 марта 1955 года Ерёменко вместе с пятью другими советскими военачальниками было присвоено воинское звание Маршала Советского Союза. В 1958 году он был назначен генеральным инспектором Группы генеральных инспекторов Министерства обороны СССР; это по большей части почётная номинальная должность. Один из первых советских маршалов, начавших публиковать свои мемуары. Кроме того, в 1990-х годах в «Военно-историческом журнале» были опубликованы фрагменты из дневника Ерёменко, который тот, несмотря на запрет, вёл всю войну. Этот дневник отличается весьма высокой оценкой собственной роли автора в войне, но содержит огромную массу ранее неизвестных и любопытных фактов.
Умер 19 ноября 1970 года. Урна с его прахом покоится на Красной площади у Кремлёвской стены.
Жалоба, направленная Сталину 19 сентября 1941 года членом Военного Совета 13-й армии секретарем ЦК Компартии Белоруссии бригадным комиссаром Ганенко: