Родился 10 января 1944 года в Днепропетровске.
Окончил юридический факультет МГУ, Высшую школу государственного управления им. Д. Ф. Кеннеди Гарвардского университета (США), доктор юридических наук, профессор.
Работал на металлургическом комбинате и в конструкторском бюро ракетно-космической техники.
С 1976 по 1986 год преподавал и занимался научной работой в Академии МВД. С 1986 по 1993 год — профессор Высшей юридической школы и Юридического института МВД РФ. С 1992 по 1993 года — генеральный директор Юридического центра Фонда национальной и международной безопасности.
В декабре 1993 года был избран депутатом Государственной Думы первого созыва по списку КПРФ, с января 1994 года по январь 1995 года являлся одним из четырёх заместителей председателя Государственной Думы, с декабря 1994 года возглавлял штаб Государственной думы по ситуации, связанной с вооружённым конфликтом в Чеченской Республике, был членом Наблюдательной комиссии по организации переговорного процесса с Чеченской республикой и председателем объединённой трёхсторонней комиссии по правам человека в Чечне.
5 января 1995 года был назначен министром юстиции РФ. 10 января 1995 года был исключён из фракции КПРФ в Государственной Думе за вхождение в правительство без согласования с фракцией.
2 июля 1997 года был освобождён от должности министра после показа в СМИ компрометирующих материалов. Ранее в газете «Совершенно секретно» вышла статья Ларисы Кислинской «А министр-то голый». В статье говорилось, что в сейфе банкира Аркадия Ангелевича, арестованного 17 апреля, была обнаружена видеокассета, где Ковалёв заснят с тремя проститутками в сауне. Запись была датирована 13 сентября 1995 года, кроме Ковалёва в ней фигурировал близкий к нему деятель Андрей Максимов. Затем кадры были продемонстрированы по телевидению.
В феврале 1999 года Ковалёв был арестован по обвинению в присвоении финансовых средств общественного фонда при Министерстве юстиции в бытность министром, а также в незаконном хранении оружия и боеприпасов. В августе 2000 года Генеральная прокуратура РФ утвердила обвинительное заключение и направила в суд уголовное дело по обвинению Ковалёва в получении взяток и присвоении денежных средств.
Как говорилось в материалах Следственного комитета при МВД РФ, из созданного Ковалёвым в 1994 году «Фонда общественной защиты гражданских прав» было похищено более 1 млрд неденоминированных рублей, из которых более 740 млн были перечислены на его личные счета. Кроме того, «материалами уголовного дела установлено, что Ковалёв, занимая в 1995—1997 годах пост министра юстиции, неоднократно получал в крупных размерах взятки как деньгами, так и квартирами и земельными участками».
3 октября 2001 года решением Московского городского суда был приговорён к 9 годам лишения свободы условно с испытательным сроком 5 лет. Ковалёв и Андрей Максимов были признаны виновными в хищении вверенного имущества и неоднократном получении взяток в крупном размере.
Женат, имеет дочь.
Увлекается классической литературой, классической музыкой, зимними видами спорта.