Получил юридическое образование в Лондоне, затем вернулся в Вирджинию и в 1744 г. был назначен генеральным прокурором колонии, занимал этот пост до 1766 года, одновременно являясь депутатом законодательного органа колонии — Палаты горожан. К моменту роспуска Палаты в 1769 году занимал пост её председателя.
В 1774 г. был избран председателем Первого Континентального конгресса, в 1775 г. непродолжительное время председательствова на Втором Континентальном конгрессе.
В честь Рэндолфа назван город Рэндолф-Каунти в штате Северная Каролина.