В качестве игрока не имел больших успехов, в 1958 году тяжело заболел туберкулезом, что привело к удалению части легкого и преждевременному завершению спортивной карьеры.
Как и многие его товарищи по клубу «Вест Хэм» решил испытать себя на тренерском поприще. Сначала тренировал малоизвестные клубы, добившись успехов в «Плимуте», был приглашён помощником главного тренера Джо Мерсера в «Манчестер Сити». Этот тренерский тандем позволил команде добиться наилучших достижений за всю её историю, превратив «Манчестер Сити» в конце 1960-х в один из сильнейших клубов страны. На счету команды: победа в чемпионате Англии в сезоне 1967/68, Кубок Англии (1969), Кубок Футбольной лиги (1970), Кубок обладателей кубков УЕФА (1970). После перехода Мерсера в «Ковентри» Эллисон два сезона возглавлял «Манчестер», однако 11-е место в 1973 году вынудило его подать в отставку.
В дальнейшем его тренерская карьера в Англии шла в с переменным успехом и он решил попытать счастья за рубежом, где наибольшего успеха добился возглавляя португальский «Спортинг», приведя его к чемпионскому дублю — победе в чемпионате и Кубке страны 1982 года. В общей сложности он успел поработать тренером в 11 клубах, а также со сборными Турции и Кувейта.
Уйдя в отставку, он в конце 1990-х годах работал футбольным экспертом во время футбольных радиорепортажей, однако был уволен, поскольку допустил нецензурные выражения в прямом эфире.