Родился в Нью-Йорке. Когда ему было 12 лет, умер его отец-коммерсант, оставивший за собой долги и заставивший Мелвилла расстаться с мыслью о получении университетского образования. С 18 лет плавал юнгой на пакетботе, затем некоторое время работал учителем; в 1841-м отправился на китобойном судне «Акушнет» в Южные моря. Через полтора года из-за конфликта с боцманом «Акушнета» Мелвилл сбежал с корабля около Маркизских островов и попал в плен к туземцам, затем был освобождён экипажем американского военного судна. После трёхлетних странствий вернулся на родину, чтобы заняться литературной деятельностью.
Его основанные на собственном опыте романы «Тайпи, или Беглый взгляд на полинезийскую жизнь» (Турее: or A Peep at Polynesian Life, 1846) и «Ому: повесть о приключениях в Южных морях» (Omoo: A Narrative of Adventures in the South seas, 1847), сразу же принёсшие писателю славу (роман «Тайпи» был самой популярной книгой Мелвилла при его жизни), характерны уходом в экзотику, полным отказом от привычной для читателя действительности. Мелвилл уводит своего героя в первобытный мир, к неиспорченным цивилизацией дикарям Южных морей. За увлекательными сюжетами стоит волновавшая не только Мелвилла проблема: можно ли, отказавшись от цивилизации, вернуться к природе?
Аллегорический роман о плавании как философских поисках Абсолюта «Марди и путешествие туда» (Mardi and a Voyage Thither, 1849) успеха не имел.
В следующих произведениях, по-прежнему отталкиваясь от личного опыта, Мелвилл стремится анализировать окружающую действительность и социальные отношения. Он пишет «Редберн: его первое странствие» (Redburn: or The Ambiguities, 1849) и «Белый бушлат, или Мир военного корабля» (White Jacket, or the World in a Man-of-War, 1850). «Белый бушлат» изображает зло и жестокость современных автору военных.
Однако Мелвилл отказывается от реалистических морских романов и создаёт свой главный шедевр «Моби Дик, или Белый кит» (Moby Dick, or The Whale, 1851). Он провозглашает примат иррационального. В «Моби Дике» Мелвилл доказывает иррационализм социальных отношений; он рисует фантастически мрачную действительность, где господствует таинственный белый кит по имени Моби Дик, которого практически никто не видел, но который обнаруживает себя «результатами своих действий». Моби Дик властвует над всем, он согласно слухам вездесущ (возможно, он символизирует Бога или дьявола).
«Моби Дик» не был оценен подавляющим большинством современников. После разгромной критики через год готического романа «Пьер, или Двусмысленности» (Pierre, or The Ambiguities, 1852), где изображен писатель, который среди шумной толпы чувствует себя таким же одиноким, как на полюсе, Мелвилл публиковался анонимно, печатая рассказы в журналах. Многие из них вошли в сборник «Рассказы на веранде» (The Piazza Tales, 1856). За год до этого вышел исторический роман «Израэль Поттер. Пятьдесят лет его изгнания» (Israel Potter: His Fifty Years of Exile, 1855) о забытом герое американской революции.
Последним романом Мелвилла был «Искуситель: его маскарад» (The Confidence Man: His Masquerade, 1857) - язвительная сатира на человеческую доверчивость. Действие происходит на корабле «Вздор», плывущем по Миссисипи.
Деньги, принесённые в первую очередь произведениями раннего периода, ещё оставались, и в 1860-м Мелвилл совершил кругосветное путешествие. Однако с 1866-го по 1885-й он уже служил чиновником на таможне.
Мелвилл продолжал писать, выпустив сборники рассказов «Батальные сцены и разные стороны войны» (Battle-Pieces and Aspects of the War, 1865), «Джон Марр и другие моряки» (John Marr and Other Sailors, 1888), поэтический сборник «Тимолеон» (Timoleon, 1891), но умер почти забытым. Только в анонимном некрологе написали об «исключительно одарённом авторе», который обладал «могучим поэтичным воображением».
Его последнее произведение, повесть «Билли Бад, фор-марсовый матрос» (Billy Budd, Foretopman, 1891), осталась в рукописи и была опубликована только в 1924 году. Повесть о несвободе человека перед законами общественной жизни и природы снова вызвала интерес к Мелвиллу. По мотивам «Билли Бада» Бенджамин Бриттен написал одну из лучших своих опер (1951).
С 1920-х началось переосмысление Мелвилла, и его признали классиком мировой литературы.