Брат султана Кедаха (Северная Малайя). В 1920—1931 учился в Кембриджском университете. Во время японской оккупации Малайи (декабрь 1941—1945) — в администрации султаната в Кедахе.
В 1951 году возглавил Объединенную малайскую национальную организацию (ОМНО) — политическую силу, представлявшую малайскую общину страны. В 1955 году, после объединения трёх национальных партий (ОМНО, Китайской ассоциации Малайи и Индийского конгресса Малайи) в Союзную партию Малайи, стал её председателем. После победы Союзной партии на парламентских выборах 1955 года — главный министр и министр внутренних дел Малайской Федерации.
В январе 1956 года возглавлял делегацию на переговорах с британским правительством в Лондоне о безотлагательном предоставлении Малайе внутреннего самоуправления, а в дальнейшем — независимости. После провозглашения независимости 31 августа 1957 года остался во главе правительства, заняв посты премьер-министра и министра иностранных дел Малайской Федерации (с 1963 — Малайзии).
В 1961 году выдвинул план объединения Малайской федерации и колоний Великобритании Сингапура, Сабаха, Саравака и Брунея в Федерацию Малайзия. 16 сентября 1963 года объединение состоялось (без Брунея; Сингапур вышел из состава 9 августа 1965 года). В 1967 году Малайзия стала одним из учредителей Ассоциации стран Юго-Восточной Азии (АСЕАН).
В середине 1960-х годов в стране усилились межобщинные противоречия (особенно с принятием в 1967 году закона о языке, определившего в качестве официального малайский язык), которые привели в 1969 году к межэтническим столкновениям и введению чрезвычайного положения. Власть фактически перешла от правительства к Национальному оперативному совету во главе с заместителем премьер-министра Абдул Разаком, который в 1970 году и занял пост премьер-министра.
В 1969—1973 занимал пост генерального секретаря Организации «Исламская конференция».
Абдул Рахман почитается в Малайзии как «отец независимости». Его резиденция в Куала-Лумпуре превращена в мемориал. Его именем названы:
Абдул Рахман был изображён на почтовых марках: