Милле родился в Саутгемптоне и начал учиться рисованию девяти лет от роду. В 1838 году, когда стали очевидными его способности, семья перебралась в Лондон. В возрасте 11 лет Милле поступил в Королевскую Академию художеств, став самым молодым студентом за всю историю Академии. К пятнадцати годам он уже прекрасно владел кистью, в 1846 г. явился перед публикой с исторической картиной «Писарро берет в плен перуанских инков», которую критика признала лучшей на всей академической выставке того года, а в следующем году получил золотую медаль за картину «Нападение колена Вениаминова на дочерей Силоама». В 1848 году на одной из выставок Милле знакомится с Холманом Хантом и Данте Габриэлем Россетти и вместе с ними основывает Братство прерафаэлитов.
Его ранние работы характеризуются значительной детализацией, в частности картина «Христос в родительском доме» (англ. Christ In The House Of His Parents, 1850, Лондон), которую сочли излишне реалистичной и в газете «Таймс» окрестили как «возмутительную». Однако Милле это не смутило, и он продолжал свое творчество среди прерафаэлитов. На самом деле, техническое совершенство картин Милле сразу выделило его среди других живописцев, поэтому работы Милле всегда принимали на выставках Академии, какими радикальными бы они ни были. Его также поддержал критик Джон Рёскин, который сразу увидел в Милле выдающийся талант.
Летом 1853 Рёскин и его жена Эффи пригласили Милле отправиться вместе на лето в Гленфинлас. Милле и Эффи полюбили друг друга и, после ее скандального развода с Рёскином, поженились. Женитьба изменила Милле: для поддержания семьи он должен был создавать картины быстрее и в большем количестве, а также дорого продавать их. Милле полностью отрекся от взглядов и идей прерафаэлитизма: в частности, картину «Сэр Изюмбрас» (1857), где художник сильно отошел от прерафаэлитской техники, Рёскин назвал «даже не неудачей, а катастрофой». Взамен Милле обрел огромную популярность и бешеное состояние, зарабатывая до 30 тыс. фунтов в год. Он сделался портретистом, отчасти пейзажистом (причем пейзажи Милле рисовал не на заказ, а как хобби — для себя) и стал первым английским художником, получившим титул баронета (в 1885). В 1896 году он был избран президентом Королевской Академии. На портретах Милле изображает, как правило, людей известных, занимающих высокие общественные посты.
В настоящее время Милле относится к числу самых любимых англичанами художников середины XIX века.
Наиболее известная картина — «Офелия» (англ. Ophelia, 1851—1852), где изображена возлюбленная Россетти Элизабет Сиддал.