Родился в городе Кветта, входившего тогда в состав колонии Британская Индия (ныне город в Пакистане. Сын офицера британской колониальной армии, впоследствии дослужившегося до генерала. Окончил привилегированную школу-интернат в графстве Уорикшир. Этот интернат был известен высоким уровнем обучения регби.
С 1926 года служил в Британских Вооружённых Силах. Он окончил Королевскую военную академию в Сандхёрсте и зачислен в Сифортский Хайлендерский пехотный полк.
В 1940 году назначен командиром батальона в Королевском Тайнсайдском Шотландском пехотном полку. С 1941 года - в Дирекции планирования Военного министерства Великобритании. С 1942 года - начальник штаба 52-й пехотной дивизии. С 1944 года - командир 152-й пехотной бригады, произведен в чин бригадира. На завершающем этапе войны служил в штабе 21-й группы армий союзников, сражавшейся во Франции и в Западной Германии.
После окончания войны с 1945 года - командир 51-й пехотной дивизии. С 1946 года - командир 6-й аэромобильной дивизии в Палестине, где тогда резко обострился ближневосточный конфликт и британские войска оказались втянутыми в арабо-еврейское вооружённое противостояние. С 1948 года - директор по взаимодействию с Военно-Воздушными силами в Военном министерстве. С 1950 года - представитель от Великобритании в объединённом штабе австралийско-британских войск на Дальнем Востоке. С 1951 года командовал 1-й дивизией войск Британского Содружества, сражавшейся в Корейской войне совместно с американцами. С 1953 года командовал 1-м армейским корпусом. С 1954 года - Директор военной подготовки в Военном министерстве Великобритании.
В 1957 году назначен директором военных операций в Малайе, руководил боевыми операциями против повстанцев на завершающем этапе Войны в Малайе. С 1960 года - командующий Британской Рейнской Армией, дислоцированной на территории ФРГ. С 1963 года - генерал-адъютант Её Величества. С 1965 года - начальник Генерального Штаба Великобритании. В 1968 году уволен в отставку и одновременно с увольнением произведен в фельдмаршалы.
В 20-х - 30-х годах Джеймс Касселс был одним из ведущих игроков в крикет в Англии и в составе команд несколько престижных национальных и международных турниров. Выступал за сборную сухопутных войск и за национальную сборную Англии. В последний раз играл в официальном матче в 1949 году, уже будучи в генеральском звании.