С 1953 года — в Советскую Армии. Окончил Киевское училище самоходной артиллерии в 1956 году. Командовал учебным танковым взводом и танковой ротой. С 1966 года — заместитель командира учебного танкового батальона. Член КПСС. В 1970 году окончил Военную академию имени М. В. Фрунзе. В 1970 году некоторое время служил заместителем командира мотострелкового полка, затем с 1970 года — начальник штаба танкового полка. В 1973 году командовал танковым полком, затем с того же 1973 года — заместитель командира мотострелковой дивизии.
В 1976 году окончил Военную академию Генерального штаба, затем в 1982 году оканчивал Высшие академические курсы при этой академии. С 1976 года — командир танковой дивизии. С 1978 года — командир армейского корпуса. С 1980 года - командующий 14-й армией в Одесском военном округе.
В мае 1982 — ноябре 1983 года — командующий 40-й армией, которая вела боевые действия в Афганистане в составе Ограниченного контингента советских войск. На долю Ермакова выпали трудные первые годы Афганской войны, когда выявилась слабая готовность советских войск к боевым действиям в условиях горно-пустынной местности, многочисленные недостатки систем вооружения и обеспечения войск.
С 1983 года — первый заместитель командующего войсками Туркестанского военного округа. С 1984 года — командующий войсками Центральной группы войск на территории Чехословакии. С 1987 года — командующий войсками Ленинградского военного округа. С 1990 года — заместитель Министра обороны СССР по кадрам — начальник Главного управления кадров Министерства обороны СССР. Воинское звание генерал армии присвоено указом Президента СССР М. С. Горбачёва 6 февраля 1991 года. С сентября 1991 года — в отставке по обвинению в активном выполнении распоряжений ГКЧП. Народный депутат РСФСР с 1990 по 1993 год.
Живёт в Москве. Активно участвовал в работе ветеранских организациях бывших воинов-афганцев. В 2006 году избран первым заместителем Председателя Российского комитета ветеранов войны и военной службы.
Женат. Два сына — офицеры Российской Армии.