Был первым ребёнком в семье сельского кузнеца. Семья — обычная по тем временам, многодетная: ещё 3 сестры и 4 братьев. Жили в нужде. Сёстры умерли в раннем возрасте, братья Георгий и Виктор погибли на фронте.
После окончания трёх классов начал трудиться, помогая по дому, в кузнице и на поле. Был очарован гением Сергея Есенина. Стихи Есенина, ставшие песнями, впервые услышал от друзей, и лишь впоследствии прочитал их в рукописных списках. Тогда Есенина всячески хотели вытравить из народного сознания: не издавали, объявляли «богемным» и «упадническим», за чтение его стихов исключали из комсомола.
Образование удалось продолжить с девятнадцати лет. Закончил рабфак с одними отличными оценками, поступил на заочное отделение филфака Ленинградского университета, учительствовал на селе. Получил ободряющее напутствие Д. Кедрина, отметившего добрую народную основу стихов начинающего поэта.
В 1940 году был призван на Северный флот, где прошёл всю войну сначала стрелком морской пехоты, затем подводником, работал во флотской печати. Здесь во время войны он складывается как поэт, были написаны одни из лучших его стихотворений: «Потери», «А думал я…». Первая книга «Далёкие берега» (Минск, 1947).
В 1957 году окончил Высшие литературные курсы и вскоре был приглашён в Москву заведовать редакцией русской прозы и поэзии в издательстве «Молодая гвардия». В 1960-х—1970-х годах вёл творческий семинар в Литературном институте, с «поэтическими десантами» побывал во многих районах страны. Живя в Москве не терял связи с малой родиной, часто её посещал, помогал начинающим литераторам землякам .
В коммунистическую партию вступил в 1944 году на Северном флоте. За границу не выезжал.
Похоронен на Ваганьковском кладбище Москвы невдалеке от могилы Сергея Есенина. В Ветке именем Дмитрия Ковалёва названа улица. В ветковской районной библиотеке и литературно-мемориальном музее им. Н. Н. Асеева во Льгове имеются экспозиции, посвящённые творчеству поэта.
Дмитрий Ковалёв оставался верным русской традиции с её отношением к поэтическому слову как к откровению. В стихах — слитность внутреннего мира с необъятным окружающим миром, желание «остановить» мгновение.
Умение несколькими штрихами запечатлеть неуловимые, но такие узнаваемые черты природы, приметы бытия. Стихотворения о войне, раздумья о своём времени.
В пейзажной лирике узнаваемы живые приметы родной поэту гомельщины , и курских краёв, где он проводил много времени в городке Льгове на родине жены.
Известны критические статьи поэта, а также переводы большей частью с белорусского. И не только поэзии, но и прозы: Я. Брыля, И. Мележа, документальной книги Я. Брыля, В. Колесника и А.Адамовича «Я из огненной деревни».
Оставил автобиографию доведённую до 1945 года, интересную как человеческий документ и документ эпохи, свободный от всяческих социальных и политических заказов.
Однажды на сетования Е. Евтушенко о том, что из-за задержки с выходом очередного его сборника стихи де успеют устареть, заметил: «А ты, Женя, пиши, чтобы лет на пять хотя бы хватало!»