После переезда семьи Армфилдов из Дентона в Блэкпул юный Джимми начал играть в футбол на любительском уровне. В одном из таких любительских матчей его заметил тренер «Блэкпула» Джо Смит, которого впечатлила игра Армфилда, и он предложил юному игроку любительский контракт. 27 декабря 1954 года Армфилд провёл свой дебютный матч за «Блэкпул» в игре против «Портсмута».
В сезоне 1955/56 «Блэкпул» финишировал на втором месте чемпионата, что до сих пор является самым большим достижением клуба.
В 1959 году Армфилд был признан лучшим молодым игроком года. В 1966 году он лишь немного уступил Бобби Чарльтону в голосовании за звание футболиста года, но был признан лучшим игроком года в «Блэкпуле». С «Блэкпулом» ему не удалось выиграть трофеев. В сезоне 1969/70 он помог клубу вернуться в Первый дивизион.
2 сентября 1970 года, в день его 35-летия, был проведён прощальный матч Армфилда, на который пришли тысячи болельщиков «Блэкпула». Свою последнюю игру за «Блэкпул» он провёл 1 мая 1971 года на «Блумфилд Роуд» против «Манчестер Юнайтед» (это был последний, на настоящее время, матч «Блэкпула» в высшем дивизионе английского футбола).
Армфилд провёл за сборную Англии 43 матча с 1959 по 1966 годы, в том числе 15 матчей — в качестве капитана. Его дебют за сборную состоялся 13 мая 1959 года в матче со сборной Бразилии на глаза 120 000 зрителей. Джимми сыграл на чемпионате мира 1962 года в Чили, где его назвали «лучшим правым защитником в мире». Его также признавали «лучшим правым защитников в Европе» с 1962 по 1964 годы. Он был включён в состав сборной Англии на чемпионат мира 1966 года, но не сыграл на нём ни одного матча из-за травмы.
В финале 1966 года лишь 11 игроков, вышедших на поле, получили золотые медали чемпионов мира. Футбольная ассоциация организовала кампанию с целью убедить ФИФА наградить медалями всех игроков, включённых в заявку. В итоге Армфилд получил золотую медаль чемпиона мира из рук Гордона Брауна на торжественной церемонии 10 июня 2009 года.
В качестве игрока
В качестве тренера