Родился в семье бедного плотника, который уехал на Аляску в поисках золота. К отцу трёхлетний Джеймс переехал с матерью, однако уже в возрасте 11 лет уехал в Лос-Анджелес. В 1923 году Джеймс поступил в Массачусетский технологический институт. Он получил ученую степень в июне 1925 года. Занимался профессиональным боксом.
В 1917 году Джеймс поступил в резервный авиационный корпус для подготовки пилотов. Вскоре был произведён в лейтенанты. В 1922 году он совершил свой первый континентальный перелёт на De Havilland DH-4 из Пабло Бич (Флорида) в Сан-Диего (Калифорния) с одной дозаправкой менее чем за 24 часа. Он преодолел расстояние в 4460 км за 21 час 20 минут. С 1931 по 1932 год он участвовал в популярных воздушных соревнованиях, выиграв Bendix Trophy Race и Thompson Trophy Race, летая на самолете Gee Bee R-1, сконструированном братьями Гранвиль. Эта машина была очень маленькой, но мотор позволял развивать рекордную скорость — 473 км/ч, поэтому этот самолет часто называли «летающий мотор».
На авиашоу в Чили он должен был представлять истребитель Curtiss P-1 Hawk компании Curtiss Aircraft. Однако накануне шоу с Джеймсом случился ужасный инцидент в баре, после которого он попал в госпиталь. Осмотрев его, доктор решил ампутировать Джеймсу ноги. Нам неизвестно как Дулиттл переубедил врачей, но на следующее утро карета скорой помощи подвезла его прямо к самолёту. Не смотря на перебинтованные ноги и ужасную боль, Джеймс сумел выполнить своё задание и отстоял честь авиакомпании. После этого он участвовал в условном бою с немецким асом Эрнэстом фон Шенабека и бароном Рихтгофеном. Джеймсу удалось победить Шонабека, который летал на самолете компании Dornier Aircraft Do.H Falke с двигателем BMW IVa.
Работал в лаборатории Гуггенхайма и разрабатывал приборы для полета в плохих погодных условиях. 24 сентября 1929 года, он был первым человеком, выполнившим взлет, полет и посадку самолета только по приборам. Кроме того, он призвал нефтяные компании существенно расширить свои возможности для производства высококачественного топлива для авиации. Вышел в отставку в 1930 году в звании майора.
Дулиттл вернулся в ВВС в 1940 году в звании подполковника. После бомбёжки Пёрл-Харбора у Джеймса родился дерзкий и смелый план мести. Он планировал поднять облегченные Б-25 с авианосца и атаковать японские города, после чего приземлиться на аэродромы Китая. Он собрал отряд добровольцев и проводил тренировки на аэропорте Инглиш Флид во Флориде. 2 апреля 1942 года они под прикрытием конвоя перелетели из Сан-Франциско, на борт американского авианосца «Хорнет».
Однако, 12 апреля конвой был случайно замечен японским патрульным кораблем и, не желая отказаться от операции возмездия, вице-адмирал Вильям Ф. Хелси решил атаковать. Десять самолетов атаковали Токио, два атаковали Иокогаму, один совершил налет на Йокосуку и три нанесли удар по Кобе.
Срочные изменения в планах привели к тому, что американские самолеты оказались над целью в полночь. Обратный путь и посадку на китайских аэродромах также должны были произойти ночью, но радиостанции китайских аэродромов, не зная об изменении времени атаки американцев, были выключены. Без системы радионаведения многие экипажи потеряли ориентировку, и, израсходовав топливо, пилоты оказались вынужденным садиться на воду или пытаться спасти свои жизни, прыгая с парашютом ночью. Из 81 пилота, участвовавших в операции, погибло 7. Дулиттл остался жив и был повышен в звании до генерала. Президент США наградил его Почетной медалью Конгресса.
После войны, Дулиттл вернулся к гражданской жизни и стал вице-президентом «Шелл Ойл», где и проработал с 1946 до 1958 года. Он был также директором лаборатории космической техники, а затем компании TRW Inc. С 1957 по 1958 год он занимал пост председателя Научно-консультативного совета по аэронавтике США. С 1955 до 1965 он был членом Службы внешней разведки в Президентском совете. В 1958 году ему была предложена должность первого администратора Национального управления по аэронавтике и исследованию космического пространства (НАСА), но он отказался. Джеймс Дулиттл умер 27 сентября 1993 года в возрасте 96 лет.