Родился в семье виноторговца, выехавшего в Бордо по торговым делам. По материнской линии происходил из шотландской семьи, поэтому поступил в Университет Глазго, а затем продолжил образование по медицинской специальности в Эдинбурге.
В 1756 году стал профессором в Глазго, а с 1766 преподает Эдинбурге. Кроме того, Джозеф Блэк является почётным член Академии Наук в Петербурге с 1783 года, а также и в Париже — с 1789 года. В 1754 году Блэк обнаружил, что при нагревании белой магнезии (углекислый магний) выделяется «связанный воздух», то есть углекислый газ, и образуется жжёная магнезия (окись магния). Затем Блэк указывает на то, что обжиг известняка состоит в удалении «связанного воздуха».
На основе этих экспериментов учёный сделал вывод, что различие между углекислыми и едкими щелочами заключается в том, что в состав первых входит углекислый газ.
Открытие Блэком углекислого газа положило начало пневматической химии.
В 1757 Блэк ввёл понятие скрытой теплоты, открыв теплоту плавления и парообразования, хотя эти труды были опубликованы лишь в 1779.
Затем, с 1759 по 1763, Блэк обнаружил различие между количеством теплоты и ее температурой, ввёл понятие теплоёмкости.
Был хорошо знаком с Джеймсом Уаттом, который работал в том же Университете мастером измерительных инструментов. Считается, что Джеймс Уатт был его учеником.