Окончил Таллинскую консерваторию у Бруно Лукка, затем аспирантуру Московской консерватории под руководством Нины Емельяновой. С 1970 г. преподавал в Таллинской консерватории.
В 1979 г. переехал в Югославию и начал преподавать в Академии искусств Нови-Сада (с 1989 г. заведующий кафедрой), а с 1984 г. также и Белградском университете искусств (с 1992 г. заведующий кафедрой). Среди многочисленных сербских учеников Валдма, в частности, Наташа Велькович. Валдма также преподавал в Кёльнской Высшей школе музыки (где у него учился Сёрен Нильс Айхберг) и в собственной Академии фортепианного искусства в Женеве. В 1991 г. Эстонская академия музыки присвоила ему докторскую степень honoris causa.