Детские годы Ростовцева прошли в Ельце. Ему исполнилось 12 лет, когда началась война. Вместе с другими детьми он был эвакуирован в Среднюю Азию в детский дом города Коканд. В 1942 году он становится учеником школы ФЗО при Маргиланском шёлковом комбинате. Работает в начале мотальщиком по размотке коконов, а затем токарем по металлу. В 1948 году стал мастером отдела главного механика Ленинского авторемонтного завода в Асаке.
В 1949 году был призван в армию, после демобилизации работает председателем горкома ДОСААФ в том же городе. В 1957 году принимает участие в строительстве Большого Ангрена, где работает главным механиком автобазы комбината «Узбекуголь». Работая на этой должности, Ростовцев входит в инициативную группу по организации Ангренского городского краеведческого музея.
В 1960 году поступает на исторический факультет Ташкентского университета и переходит на работу в школу, становится директором Ангренского краеведческого музея.
В 1962 году вблизи Ангрена Ростовцев вместе со школьниками находит стоянку эпохи каменного века Куль-Булак, получившую мировую известность.
Узнав об этой находке, академик Алексей Павлович Окладников сказал:
В 1968 году Олег Михайлович становится инспектором республиканского значения по охране памятников истории и культуры. В 1970 году в Самарканде был образован Институт археологии Узбекистана и с момента его открытия Ростовцев стал там работать. В это время он трудится над сводом археологических памятников Узбекистана «Историческая топография Согда» и совершает множество научных экспедиций.
В 1972 году выходит совместная работа Ю. Ф. Бурякова, М. Р. Касимова и О. М. Ростовцева — карта «Археологические памятники Ташкентской области». В 1992 году началось его сотрудничество с Алмалыкским краеведческим музеем, а также начаты работы по изучению памятника Корихона.
Скончался 21 января 2006 года.
С именем Ростовцева связано изучение многих памятников истории и культуры в Узбекистане, таких как Обиррахмат, Джар-Тепе, Утурлык-тепе, Рабиджан, Гальва-тепе, Турткуль-тепе, Зарабулак, Нурата и других.
Он автор методики поиска каменного века по палеогеновым известнякам, которая была подтверждена им на практике во время его работ в Узбекистане и России, где Ростовцев работал в составе экспедиции по приглашению Алексея Окладникова на Ангаре.
Многие годы Ростовцев успешно работал и с другими крупными учёными: М. М. Герасимовым, Я. Г. Гулямовым, М. Е. Массоном.