Родился 25 декабря 1931 года в селе Воловчик (ныне Воловского района Липецкой области в крестьянской семье.
Трудовую деятельность начал в 16 лет рядовым колхозником, позднее работал прицепщиком, а впоследствии стал бригадиром колхоза в Липецкой области. С 1949 года — грузчик, хоздесятник, товаровед строительно-монтажного управления № 22 «Особстрой» в городе Жуковском Московской области, одновременно учился на лётных курсах в аэроклубе. После его окончания призван в ряды Вооружённых сил, в 1951—1955 проходил службу в частях военной авиации, летал бортмехаником на боевых самолётах, уволен в запас в звании младшего лейтенанта.
С 1955 года — навалокрепильщик, механик-машинист горных машин на шахте № 36 треста «Сталиногорскуголь» в городе Новомосковске Тульской области. В 1959—1965 годах учился в Воронежском сельскохозяйственном институте, имеет специальность «учёный агроном-экономист». В 1966 году окончил Всесоюзный сельскохозяйственный институт заочного образования по специальности «экономика и организация сельского хозяйства». В 1964—1997 — председатель колхоза им. Ленина Новомосковского района (в 1977 году перспективное хозяйство было преобразовано в племзавод-колхоз, в 1984 году — в агропромышленное объединение «Новомосковское»).
С 1986 года — председатель Всесоюзного совета колхозов, в марте 1989 года был избран народным депутатом СССР по квоте объединения. В апреле 1990 года был избран председателем Союза аграрников РСФСР; председатель Крестьянского союза СССР с июня 1990 по август 1991 года. Во время избирательной кампании 1991 года был доверенным лицом кандидата в президенты председателя Совмина СССР Николая Рыжкова. В июле 1991 года подписал обращение «Слово к народу».
На период 19—21 августа 1991 года — член Государственного комитета по чрезвычайному положению в СССР (ГКЧП); в этом качестве готовил проект Указа Комитета «О спасении урожая». После провала путча был арестован как участник попытки государственного переворота, ему было официально предъявлено обвинение по статье 64 Уголовного Кодекса РСФСР (измена Родине). Во время следственных мероприятий находился в СИЗО «Матросская тишина» в Москве. В июне 1992 года освобождён из-под стражи по состоянию здоровья под подписку о невыезде с места жительства, вернулся на прежнюю работу в возглавляемый им прежде Аграрный союз России; некоторое время руководил Крестьянским союзом СНГ.
В 1993—1995 — депутат Совета Федерации Федерального Собрания России.
В 1997—2005 — глава администрации (губернатор) Тульской области.
В 2007 году был избран депутатом Государственной Думы РФ пятого созыва по списку Коммунистической партии Российской Федерации по Тульской области. Работал членом Комитета Государственной Думы по аграрным вопросам, а так же заместителем председателя Комиссии Государственной Думы по мандатным вопросам и вопросам депутатской этики.
В 2011 году, также по списку Коммунистической партии Российской Федерации по Тульской области, избран депутатом Государственной Думы РФ шестого созыва.
Скончался от сердечного приступа 30 декабря 2011 года в Новомосковской городской больнице. Гражданская панихида прошла 1 января 2012 года в Доме культуры железнодорожников города Тулы, а отпевание состоялось 2 января в Спасо-Преображенском храме села Спасское Новомосковского района с воинскими почестями (храм восстановлен по инициативе Стародубцева в то время, когда он возглавлял колхоз им. Ленина). Экс-губернатора похоронили на сельском кладбище села Спасское рядом с могилами жены и сына.
Кандидат сельскохозяйственных наук (1973), член-корреспондент ВАСХНИЛ (1988), действительный член Международной академии информационных процессов и технологий.
Им опубликовано более 50 научных работ, в том числе 13 книг и брошюр.
Был женат, имел дочь и сына. Увлекался чтением классической русской литературы, шахматами, хоккеем, футболом, лёгкой атлетикой.