Происходил из брахманской семьи; по национальности — телугу. Получил юридическое образование в университетах Мумбаи и Нагпура; будучи членом ИНК, участвовал в движении за предоставление Индии независимости. В 1962-73 занимал различные должности в правительстве родного штата Андхра-Прадеш; в 1971-73 возглавлял его, занимая должность главного министра. После раскола ИНК в 1969 году остался приверженцем Индиры Ганди. Позднее занимал посты министров внутренних и иностранных дел, а также обороны.
Стал лидером ИНК после убийства Раджива Ганди, а после победы партии на выборах стал премьер-министром Индии. Рао стал первым телугу на этом посту. В 1991 году он назначил сикха Манмохана Сингха министром финансов; под их руководством была проведена широкая либерализация экономики, ставшая ответом как на длительную стагнацию экономики, так и на экономический кризис 1991 года, когда ситуация была близка к дефолту. Благодаря действиям Рао и Сингха в Индии были созданы предпосылки для быстрого экономического роста. Основными мерами стали: ликвидация сложной системы лицензий, привлечение иностранных инвестиций путём увеличения максимальной доли иностранного капитала в предприятиях, открытие фондовых рынков, придание рупии статуса конвертируемой валюты, уменьшение максимальной налоговой ставки и приватизация многих государственных компаний. Важным событием премьерства Рао стало разрушение индусскими националистами мечети Бабри в Айодхье 6 декабря 1992 года, что привело к росту напряжённости между индуистами и мусульманами и многочисленным жертвам (около 2000 человек по всей Индии). Позднее представители левых партий обвиняли правительство Рао в бездействии, которое, по их мнению, и явилось причиной стихийного разрушения мечети индуистами. Во внешней политике Рао придерживался жёсткой линии в отношении Пакистана и дружественной — в отношении Израиля, Ирана и Китая (в том числе Рао избегал прямой поддержки Далай-ламы). Он также начал политику Look East по активизации связей со странами, входящими в АСЕАН. На выборах 1996 года ИНК, несмотря на наблюдаемый быстрый экономический рост страны, потерпел поражение, и Рао ушёл в отставку.
Вскоре после отставки Рао был обвинён в коррупции и признан виновным в подкупах; позднее приговор был отменён. В декабре 2004 года пережил инфаркт и вскоре умер. Был кремирован в Хайдерабаде 25 декабря.
Манмохан Сингх, назначенный им министром финансов в 1991 году, с 2004 года занимает должность премьер-министра. В настоящее время руководители ИНК стараются как можно реже вспоминать о Рао прежде всего из-за произошедшего в его премьерство разрушения мечети Бабри и последовавших за ним столкновений на религиозной почве, которые привели к падению популярности партии. Например, в 2009 году лидер ИНК Соня Ганди, вдова Раджива Ганди, в своей речи приписала заслугу введения нового экономического курса и, соответственно, всех экономических успехов страны своему мужу, ни словом не упомянув о Рао.
Рао свободно владел 13 языками. У Рао было пять дочерей и три сына, два из которых в разное время были депутатами парламента.