Окончил университет штата Алабама. С 1929 года по 1931 год работал в Принстонском университете, в 1931—1960 годах в Массачусетсском технологическом институтете. Предложил принцип действия и построил в 1931 году высоковольтный электростатический ускоритель (генератор Ван де Граафа).
Он выдвинул идею тандемного ускорителя и к 1958 году создал первый тандемный ускоритель отрицательных ионов.
По имени его изобретения была названа английская группа прогрессивного рока Van der Graaf Generator.