Прожил одинокую жизнь на окраине Нью-Йорка (в Квинсе) с матерью и больным братом, сменил множество тяжелых профессий, зарабатывая ему на лечение.
В начале 1920-х годов Корнелл испытал сильнейшее влияние идей «христианской науки» Мэри Бейкер Эдди. С конца 1920-х, под влиянием коллажей Макса Эрнста, обратился к технике ассамбляжа (трехмерного коллажа из «найденных предметов»), позже заинтересовался работами Марселя Дюшана и Курта Швиттерса. С 1936 года участвовал в выставках сюрреалистов и дада, хотя сам никогда не причислял себя к сюрреализму, не интересовался ни подсознательным, ни чудесным: его ориентирами были американские трансценденталисты, поэзия Эмили Дикинсон, визионерское творчество Жерара де Нерваля.
В 1940-1950-х годах Корнелл снял несколько короткометражных экспериментальных фильмов, в том числе — в соавторстве с лидером авангардного американского кино Стэном Брекиджем: «Чудесное кольцо» (1955) и другими . Занятную историю размолвки Корнелла и Брекиджа рассказывает Гай Давенпорт в эссе Собака Перголези.
Более широкая известность к Джозефу Корнеллу пришла после коллективной выставки «Искусство ассамбляжа» в Нью-Йоркском музее современного искусства (1961), где его ностальгическим коробкам, напоминающим детские «секреты», был предоставлен отдельный зал, и персональной экспозиции в галерее Соломона Гуггенхайма (1967). Его творчество нашло отклик у новой волны нью-йоркского авангарда — Э. Уорхола, Р. Раушенберга, Дж. Эшбери, С. Зонтаг и других.