Отец музыканта играл на трубе в оркестре Тайни Брэдшоу и привил сыну любовь к джазу. В 1943—1946 гг. входил в оркестр военно-воздушных сил США, а в 1946 — в биг-бэнд Диззи Гиллеспи. Дебютный альбом записал в 1948 году.
В 1948—1951 гг. жил в Париже, выступал с гастролировавшими американскими составами (с Майлзом Дэвисом, Тэдом Дамероном, Максом Роучем). Вернувшись в США, организовал септет (1951—1962), в котором в основном играл на флейте. Наибольшей популярности достиг в 1963—1968 гг., выступая в квинтете и биг-бэнде Гиллеспи. Также играл с Квинси Джонсом, Би Би Кингом.
В 1970-е годы играл в биг-бэндах Лас-Вегаса. Аккомпанировал эстрадным вокалистам. Самым известным и популярным хитом Муди считается «Moody’s Mood for Love» 1949 года — обработка баллады «I’m in the Mood for Love» 1935 года.
Автор более 50 сольных альбомов. Выдвигался на соискание четырех самых престижных в США музыкальных премий «Грэмми». Джеймс Муди в июне 2005 года побывал в Москве, где поучаствовал «Джаз детям» в Московском Доме музыки.