Константин Дмитриевич Голубев родился 27 марта 1896 года в городе Петровске ныне Саратовской области.
В царской армии с 1915 года. В 1916 году окончил Телавскую школу прапорщиков. Во время Первой мировой войны командовал ротой на Юго-Западном фронте. В Красной Армии с 1918 года. Во время Гражданской войны командовал взводом, ротой, полком. В 1926 году окончил Военную академию имени М. В. Фрунзе. С 1928 года начальник штаба 29-й стрелковой дивизии, с 1933 года командир 22-й стрелковой дивизии. В 1939 году К. Д. Голубев назначен старшим преподавателем Военной академии имени М. В. Фрунзе, а в марте 1941 года — командующим 10-й армией Западного особого военного округа.
В начале Великой Отечественной войны 10-я армия в ходе приграничного сражения в районе Белостока попала в окружение. Во главе небольшого отряда Голубеву удаётся вырваться из окружения и в конце июля он назначается командующим 13-й армией, участвовавшей в тот момент в битве под Смоленском.
15 октября 1941 года К. Д. Голубев назначен командующим 43-й армией. Под его руководством армия успешно участвовала в Смоленской и Витебской наступательных операциях. Весной 1944 года в боях под Витебском генерал-лейтенант Голубев тяжело ранен и после излечения до октября находился в распоряжении Ставки ВГК.
С октября 1944 года и до конца войны К. Д. Голубев 1-й заместитель уполномоченного СНК СССР по делам репатриации советских граждан из Германии и союзных государств.
После войны до 1949 года на той же должности. Затем до 1956 года на преподавательской и военно-научной работе.
Константин Дмитриевич Голубев скончался 9 июня 1956 года в Москве.
Из воспоминаний Маршала Советского Союза А. И. Ерёменко: