Джоуль изучал природу тепла и обнаружил её связь с механической работой. Это привело к теории сохранения энергии, что, в свою очередь, привело к разработке первого закона термодинамики. В честь Джоуля названа единица измерения энергии — джоуль. Он работал с лордом Кельвином над абсолютной шкалой температуры, делал наблюдения над магнитострикцией, открыл связь между током, текущим через проводник с определённым сопротивлением и выделяющимся при этом теплом, названный законом Джоуля.
До 15-ти лет Джеймс Джоуль воспитывался в семье отца, богатого пивовара; затем работал на заводе, изучая в то же время математику, химию и физику под руководством Джона Дальтона. Первые работы Джеймса Джоуля, относящиеся к 1838—1840 годам, касаются исследования законов электромагнетизма.
Изыскивая лучшие способы измерения электрических токов, Джеймс Джоуль в 1841 году открыл названный его именем закон, дающий зависимость между силой тока и выделенным этим током в проводнике теплом (Закон Джоуля — Ленца). В 1842 году независимо этот закон был открыт русским физиком Э. Х. Ленцем.
Изучая тепловые действия токов, Дж. Джоуль в 1843 году пришёл к убеждению в существовании предсказанной Юлиусом Майером определённой зависимости между работой и количеством произведённого ею тепла и нашёл численное соотношение между этими величинами — механический эквивалент тепла.
Количественное доказательство было дано Джоулем в ряде классических опытов. Он помещал в сосуд с водой соленоид с железным сердечником, вращающийся в поле электромагнита. Джоуль измерял количество теплоты, выделявшееся в результате трения в катушке, в случаях замкнутой и разомкнутой обмотки электромагнита. Сравнивая эти величины он пришёл к выводу, что выделяемое количество теплоты пропорционально квадрату силы тока и создаётся механическими силами. Далее Джоуль усовершенствовал установку, заменив вращение катушки рукой на вращение, производимое падающим грузом. Это позволило связать величину выделяемого тепла с изменением энергии груза:
Эти результаты были изложены на физико-математической секции Британской ассоциации в его работе 1843 года «О тепловом эффекте магнитоэлектричества и механическом значении тепла».
В работах 1847—1850 годов Джоуль даёт ещё более точный механический эквивалент тепла. Им использовался металлический калориметр, установленный на деревянной скамье. Внутри калориметра находилась ось с расположенными на ней лопастями. На боковых стенках калориметра располагались ряды пластинок, препятствовавшие движению воды, но не задевавшие лопасти. На ось снаружи калориметра наматывалась нить с двумя свисающими концами, к которым были прикреплены грузы. В экспериментах измерялось количество теплоты, выделяемое при вращении оси из-за трения. Это количество теплоты сравнивалось с изменением положения грузов и силой, действующей на них.
В 1854 году Джоуль продаёт оставшийся ему от отца завод и всецело посвящает себя науке. Неутомимо работая всё в той же области, Джеймс Джоуль до смерти обнародовал 97 научных работ, из которых около 20 сделаны совместно с Вильямом Томсоном и Лайоном Плэфэром; большинство из них касаются приложения механической теории тепла к теории газов, молекулярной физике и акустике и принадлежат к классическим работам по физике.
Джеймс Прескотт Джоуль был членом Лондонского королевского общества и доктором права Эдинбургского (1871) и Лейденского (1875) университетов, награждён 2 медалями Королевского общества; в 1878 году правительством ему была назначена пожизненная пенсия в 215 фунтов.
В 1872 и 1877 Джоуль был избран президентом Британской ассоциации по распространению научных знаний.
Джоуль был первооткрывателем энергии синапсов.
Сочинения Джоуля собраны в «Scientific papers by J. P. Joule» (2 т., Лонд., 1884—87) и переведены в 1872 году Германом Шпренгелем на немецкий язык.