Изучал композицию и хоровое дирижирование в Штутгартской Высшей школе музыки у Ганса Гришката и Германа Келлера, учился игре на органе у Фернандо Джермани в Сиене. Ещё студентом организовал и возглавил Гехингенский хор (нем. G?chinger Kantorei; 1954). В 1960-е гг. работал органистом и хормейстером в церквях Штутгарта, в 1965 г. основал в Штутгарте ансамбль «Bach Collegium». В 1967 г. совершенствовал дирижёрское мастерство в Нью-Йорке у Леонарда Бернстайна, в том же году занял должность профессора хорового дирижирования во Франкфуртской консерватории, где продолжал преподавать до 1985 г. В 1985—1996 гг. художественный руководитель Молодёжного хора земли Баден-Вюртемберг. В 1981 г. основал в Штутгарте Международную баховскую академию.
Риллинг считается одним из крупнейших специалистов по хоровым произведениям Иоганна Себастьяна Баха. Он стал первым дирижёром, осуществившим запись всех церковных хоровых сочинений Баха (1970—1985, около тысячи произведений). Под руководством Риллинга осуществлён ряд мировых премьер исключительного значения — в том числе «Месса по Россини» (1988), юношеский зингшпиль Феликса Мендельсона «Дядюшка из Бостона, или Две племянницы» (нем. Der Onkel aus Boston oder die beiden Neffen; 2004), оратория Кшиштофа Пендерецкого «Credo» (1998, премия «Грэмми» 2001 года за лучшее исполнение хоровой музыки). В 1995 г. по инициативе и под руководством Риллинга состоялась премьера «Реквиема примирения» (нем. Requiem der Vers?hnung) к 50-летию окончания Второй мировой войны: это произведение было создано пятнадцатью композиторами (среди которых Альфред Шнитке, Вольфганг Рим, Дьёрдь Куртаг) и исполнено Гехингенским хором, Краковским камерным хором и Израильским филармоническим оркестром.