С ранних лет музыка была частью жизни Жуана. В 14 лет его дед подарил ему первую гитару. В старших классах школы Жуан организовал группу из одноклассников и стал её лидером. В это время он был под влиянием бразильских популярных песен, американского джаза и даже оперы. Сначала Жилберту попробовал петь на радио в Салвадоре, штат Баия. В 1950 его пригласили в качестве солиста в квинтет Garotos da Lua (Лунные мальчики), и он переехал в Рио-де-Жанейро. Через полтора года его исключили из группы из-за недостатка дисциплины (он часто опаздывал на репетиции или вообще не приходил).
В течение 7 лет успех избегал Жилберту. У него редко была работа, он зависел от друзей, впал в хроническую депрессию. В конце концов его спас Luiz Telles, лидер местной группы Quitandinha Serenaders, который взял его с собой в Порту-Алегри на юг Бразилии. В этом провинциальном городе Жилберту воспрял духом. Затем он провёл 8 месяцев у своей сестры в Диамантине в штате Минас-Жерайс, где он уединялся и играл день и ночь, отрабатывая свой собственный стиль пения и игры на гитаре. Однако его сестра, беспокоясь о его психическом здоровье, отправила его к отцу в Жуазейро. Отец высмеял новый стиль Жуана и даже отправил его на психиатрическое обследование в Салвадор. В конце концов Жуан вернулся в Рио.
Вместо использования традиционных афро-бразильских инструментов Жуан часто убирал весь аккомпанемент, кроме гитары. Он выработал экономную манеру пения, близкую к шёпоту, без вибрато. Он создавал напряжение ритма за счёт того, что пел немного опережая или опаздывая за гитарой.
Этот стиль, показанный Жилберту в 1957 году, произвёл сенсацию в музыкальных кругах Рио, и многие молодые гитаристы стали ему подражать. Он был впервые записан в 1958 году, когда Жуан аккомпанировал певице Элизет Кардозу при записи песни «Chega de Saudade» (музыка Антониу Карлуша Жобима, слова Винисиуша де Мораиша). Вскоре после этого Жуан записал сольную пластинку, а потом и альбом с этой песней, которая стала хитом и прославила его и босса-нову. Кроме нескольких композиций Жобима, в этот альбом вошли самбы и популярные песни 40-х и 50-х годов, исполненные в стиле Жилберту. За этим альбомом последовали ещё два в 1960 и 1961 годах, куда Жилберту включил новые песни молодого поколения исполнителей и композиторов, таких как Карлуш Лира и Roberto Menescal.
К 1962 году босса-нова стала популярна среди джазовых музыкантов США, таких как Херби Манн, Чарли Байрд и Стэн Гетц, который предложил Жилберту и Жобиму сотрудничество, в результате которого появился альбом «Getz/Gilberto». Благодаря этому альбому будущая жена Жилберту Аструд стала звездой, а песня «Девушка из Ипанемы» — мировым стандартом босса-новы.
Жуан Жилберту жил в США с 1962 по 1969 год, затем переехал в Мексику, где провёл 2 года. Там в 1970 году он записал альбом «Jo?o Gilberto en M?xico» (1970). Следующий альбом «Jo?o Gilberto», известный так же как «White Album», с участием ударника Sonny Carr вышел в 1973. В 1976 году вышел альбом «The Best of Two Worlds», где опять играл Стэн Гетц, и пела Миуча (сестра Шико Буарке), вторая жена Жилберту с апреля 1965. Альбом «Amoroso» (1977) Жилберту выпустил вместе с Клаусом Огерманом. Как и в других альбомах, в нём были в основном композиции Жобима, более старые самбы и популярные песни США 40-х годов.
Жуан Жилберту вернулся в Бразилию в 1980 году. В следующем году вышел альбом «Brasil» с участием Жилберто Жила и Каэтану Велозу, которые в конце 60-х создали направление Тропикалиа — смесь бразильской и зарубежной популярной музыки. В 1991 году вышел необычный альбом «Jo?o» с оркестровкой Clare Fischer, в этом альбоме не было ни одной композиции Жобима, вместо этого в нём были песни на английском, французском, итальянском и испанском, кроме того — старые самбы и единственная современная песня «Sampa» (Caetano Veloso). В том же 1991 году вышел альбом «Canto do Paj?», созданный сестрой Veloso Maria Beth?nia, в котором Beth?nia и Жилберту спели песни «Maria» (Ary Barroso/Luiz Peixoto) и «Linda Flor» (Henrique Vogeler/Luiz Peixoto/Marques P?rto) в сопровождении только гитары Жилберту. Альбом «Jo?o Voz e Viol?o» (2000) был посвящен музыке юности Жилберту.
В это же время были записаны концертные выступления «Live in Montreux», «Jo?o Gilberto Prado Pereira de Oliveira», «Eu Sei Que Vou Te Amar», «Live at Umbria Jazz» и «Live in Tokyo».
В 1988 году компания EMI выпустила диск «The Legendary Jo?o Gilberto: The Original Bossa Nova Recordings (1958—1961)». Он включал также три песни из альбома 1959 года «Orfeu Negro»: «Manh? de Carnaval», «O Nosso Amor» и «A Felicidade». Жилберту судился с EMI и заставил её прекратить продажи этого альбома, поскольку он был выпущен без согласия Жилберту.
Жуан Жилберту давно имеет репутацию эксцентричного человека, занятого самосовершенствованием. Он живёт в квартире в районе Леблон (Рио-де-Жанейро), не даёт интервью и избегает публики. Он может уйти со сцены, если ему кажется, что публика проявляет к нему неуважение или акустика ниже стандартов, или может потребовать выключить в зале кондиционеры. И всё равно он собирает полные залы в Бразилии, Европе, Северной Америке и Японии.