Начал учиться в 1916 году в Москве; после окончания в 1925 году 10-й московской школы направлен на обучение в 1-й МГУ. Окончил физико-математический факультет московского университета в 1930 году. В 1933 году закончил аспирантуру по специальности «теория колебаний» под руководством академика Л. И. Мандельштама. В 1934—1958 годах работал в оптической лаборатории Физическом институте АН СССР (ФИАН). В 1935 году Начал исследования по дифракции света на ультразвуковых волнах. В 1937 году предложил эффективный метод анализа построения волн в плавнонеоднородных средах (Метод Рытова) — мощный инструмент исследования распространения волн. В 1938 году защитил докторскую диссертацию на тему «Модулированные колебания и волны». В 1947 году стал профессором, заведующим кафедрой общей физики, а с 1949 года — кафедры радиофизики на физико-техническом факультете МГУ, с 1951 года — МФТИ. В 1947 году был членом комиссии для тайного голосования в ФИАНе на защите диссертации А. Д. Сахарова «Теория ядерных переходов».
С 1958 года он возглавляет радиофизическую лабораторию в Радиотехническом институте АН СССР (с 80-х годов — начальник теоретического отдела). Его работа касалась исследования принципиальных физических вопросов, связанных с разработкой и созданием наземных радиоинформационных комплексов: исследование влияния неоднородностей атмосферы на характеристики радиолокаторов дальнего действия, разработка и создание малошумящих параметрических усилителей, развитие акустооптических методов обработки радиолокационных сигналов, исследование ионосферы с помошью ракет и искусственных спутников Земли в интересах дальней радиолокации.
Сергею Михайловичу Рытову принадлежит наиболее обшая феноменологическая теория молекулярного рассеяния света, включающая в себя анализ спектров Мандельштама-Бриллюэна и деполяризованного излучения, а также спектра рассеяния, обусловленного флуктуаниями энтропии. Эта теория, подтверждённая многочисленными экспериментами, получила общее признание. В своих работах он также дал строгое решение задачи об отражении электромагнитных волн от слоя с отрицательной диэлектрической постоянной, исследовал вопрос о связи между вектором Пойнтинга, вектором групповой скорости н плотностью энергии при распространении электромагнитных волн в анизотропных средах.
Он стал одним из основоположников теории тепловых флуктуаций в электродинамике.
Награждён тремя орденами Трудового Красного Знамени, орденом «Знак Почета», а также медалями, в том числе золотой медалью им. А. С. Попова за цикл работ в области статистической радиофизики (1959).