Кэй был оригинальном участником рог-рок-группы Yes с 1968 до 1971 года, затем вновь с 1983 до 1995. Между двумя своими заходами в Yes он успел поиграть в группах Flash, Badger, Detective и присоединиться к поп-рок-группе Badfinger для записи из последнего альбома в 1981 году. В настоящее время он играет в группе Circa, которую он основал с двумя бывшимим музыкантами Yes — Билли Шервудом и Аланом Уайтом.