Джеймс Кромвелл родился в Лос-Анджелесе, штат Калифорния, США, и вырос в Манхэттане, Нью-Йорк, в семье актрисы Кей Джонсон и актёра, режиссёра и продюсера Джона Кромвелла. Закончил частную школу The Hill School, колледж Миддлбери и университет Карнеги-Меллона в Питсбурге, где изучал машиностроение.