Родился 7 сентября 1948 г. в с. Ванновское Краснодарского края.
В 1967—1969 гг. прошёл срочную службу в Советской Армии. В 1971 г. закончил Саратовский монтажный техникум Минмонтажспецстроя СССР. Был распределен на работу в трест «Спецжелезобетонстрой» Минмонтажспецстроя СССР. Принимал участие в строительстве Волжской ТЭЦ, Каширской ГРЭС, Архангельского ЦБК, Норильского ГМК. В 1984 г. заочно получил высшее образование по специальности «Промышленное и гражданское строительство» в Ростовском инженерно-строительном институте.
С января по октябрь 1986 г. работал в тресте Мособлсельстрой № 4.
С 1986 по 1991 возглавлял трест «Кашира-агропромстрой» АПК «Каширский» Министерства сельского хозяйства РСФСР.
В декабре 1991 г. постановлением главы администрации Московской области был назначен главой администрации Каширского района.
В 1995 на выборах в Государственную Думу второго созыва выдвигался движением «Наш дом Россия» кандидатом по Коломенскому избирательному округу № 106. Не избран. В марте 1996 г. избран главой муниципального образования Каширский район.
19 декабря 1999 г. на выборах в Государственную Думу РФ третьего созыва был избран депутатом по федеральному списку избирательного блока «Межрегиональное движение „Единство“ (МЕДВЕДЬ)», был членом фракции «Единство». С 26 января 2000 являлся заместителем председателя Комитета по вопросам местного самоуправления до января 2002 г. В апреле 2001 вошел в состав депутатской межфракционной группы «Европейский клуб». С 16 мая 2001 был заместителем председателя комиссии по геополитике. С 25 января 2002 г. — председатель Комитета по Регламенту и организации работы Государственной Думы.
Был доверенным лицом Владимира Путина на президентских выборах 2000 года.
7 декабря 2003 г. на выборах в Государственную Думу РФ четвертого созыва был избран депутатом по федеральному списку избирательного объединения Партия «Единство» и «Отечество» — Единая Россия, был членом фракции «Единая Россия». С 16 января 2004 г. — председатель Комитета по Регламенту и организации работы Государственной Думы.
2 декабря 2007 г. на выборах в Государственной Думы РФ пятого созыва в составе федерального списка кандидатов, выдвинутого Всероссийской политической партией «Единая Россия», был членом фракции «Единая Россия». С 24 декабря 2007 г. — председатель Комитета по Регламенту и организации работы Государственной Думы.
11 марта 2008 г. Президент РФ Владимир Путин внес кандидатуру Олега Ковалёва для утверждения на пост губернатора Рязанской области. 14 марта депутатами Рязанской областной Думы Олег Ковалёв был утвержден губернатором Рязанской области. Официальное вступление в должность состоялось 12 апреля.
С апреля 2006 года входит в редакционный совет общественно-политического журнала "Союзное государство".
После выборов президента России 04.03.2012 года, в связи с возвращением к выборам глав регионов путем народного голосования, в г. Рязани с конца марта 2012 года оппозиционными партиями активно проводятся митинги и демонстрации с призывами досрочного прекращения Ковалевым О.И. своих полномочий. Население областного центра недовольно политикой Ковалева О.И., при поддержке которого был реализован ни один спорный бизнес-проект на территории региона. В обществе сложилось устойчивое мнение о личной заинтересованности губернатора в строительстве ряда экологичеки неблагоприятных предприятий. Кроме того в вину Ковалеву О.И. ставят отсутствие внимания к социальным проблемам региона. Основная идея митингов - областью должен руководить уроженец и житель Рязанского региона.
Женат, имеет двух дочерей и сына.