Будущий актёр родился в семье ирландца и норвежки в Манхеттане в округе Нижний Ист Сайд. В молодости работал официантом, пел в хоре, исполнял женские роли в ревю. В середине 1920-х годов играл в водевилях с супругой. Его заметили сначала на Бродвее, а потом и в Голливуде.
В 1931 году Кэгни подписал контракт со студией Warner Bros. и покинул Нью-Йорк ради «фабрики грёз». Его пятой ролью в кино стал безжалостный гангстер во «Враге общества» (1931) — фильме, который сделал звездами самого Кэгни и его партнёршу Джин Харлоу.
Несмотря на малопримечательную внешность, Кэгни с успехом воплотил в классическом Голливуде типаж «плохого парня». Хрипловатый раскатистый голос этого коротыша выдавал неистощимые запасы взрывного темперамента. Всю свою жизнь он боролся с навязываемым ему типажом. Его актёрский диапазон простирался от ролей в экранизациях Шекспира («Сон в летнюю ночь» Макса Рейнхардта) до сатирических комедий («Один, два, три» Билли Уайлдера). Свой единственный «Оскар» он выиграл за мюзикл «Янки Дудл Денди» (1942).
После неудачного режиссёрского опыта в 1957 году Кэгни стал сокращать свои появления в кино. В 1970-е годы из-за проблем со здоровьем он окончательно отошёл от работы в кино и написал книгу мемуаров. В 1981 году по приглашению Милоша Формана исполнил небольшую, но запоминающуюся роль в «Рэгтайме».
На похоронах актёра с проникновенной речью выступил его старый товарищ, Рональд Рейган, назвавший его одним из лучших актёров Америки. За два года до этого Рейган вручил ему высшую гражданскую награду США — Президентскую медаль Свободы.
Братья: Эдвард Кэгни, Уильям Кэгни. Сестра: актриса Джинн Кэгни. Жена: Фрэнсис Кэгни. Дети: Джеймс Кэгни, мл и Кэтлин Кэгни.