Родился в Нью-Йорке. В двенадцать лет поступил в физико-математическую школу с научным уклоном в Бронксе, давшую миру четырех Нобелевских лауреатов. По окончании школы поступил (1949) в Колумбийский университет на физический факультет, возглавляемый в то время легендарным профессором Исидором Раби, будущим лауреатом Нобелевской премии, воспитавшем шесть Нобелевских лауреатов за 13 лет. В 1958 Мелвин Шварц становится ассистентом профессора, в 1963 — профессором. Совместно с выдающимися учеными Леоном Ледерманом и Джеком Стейнбергером разработал и осуществил в лаборатории Колумбийского университета уникальный физический эксперимент, в ходе которого впервые получена частица нейтрино не в космических лучах, а в лабораторных условиях, в лучах высокой энергии. Продолжая затем совершенствовать технику экспериментов с нейтрино, он открыл существование двух различных видов нейтрино и антинейтрино — электронного и мюонного, что значительно расширило представление человечества о строении вещества.
Мелвину Шварцу принадлежит открытие сигма-ноль-гиперона и пиония, а также экспериментальное доказательство несохранения четности в распаде гиперонов.
В 1988 Шварц, совместно с Леоном Ледерманом и Джеком Стейнбергером, был удостоен Нобелевской премии по физике.
Мелвин Шварц умер 28 августа 2006 года.