Леммон — один из немногих голливудских актёров, который мог похвастаться гарвардским дипломом. Он обратил на себя внимание ещё в университете, по окончании которого служил на флоте в последние месяцы Второй мировой войны. В молодости много работал на радио и телевидении. Первая роль в кино — в комедии «Это должно случиться с вами» (1954). Уже на следующий год ему был присужден «Оскар» за лучшую роль второго плана — в военной драме «Мистер Робертс» (1955).
После столь многообещающего начала у Леммона не было недостатка в предложениях, но в основном это были роли — по его собственному определению — вертлявых клоунов. Подлинную глубину леммоновского таланта разглядел именитый режиссёр Билли Уайлдер, который предложил ему главную роль в своей новой комедии «В джазе только девушки» (1959). Исполнение роли Джерри (Дафны) обернулось триумфом для Леммона, принесло ему новую номинацию на «Оскар» и сделало его имя известным во всем мире.
После этого Леммон снимался во многих фильмах Уайлдера, вплоть до последнего в 1981 г. Он вновь был номинирован на «Оскар» за уайлдеровскую социальную комедию «Квартира» (1960), которая была признана киноакадемиками лучшим фильмом года. Воплощая в фильмах этого режиссёра его сардоническое видение современного общества, в котором все покупается и продается, Леммон не отказывался и от предложений других режиссёров. Одной из важнейших в своей жизни он считал роль алкоголика в остросоциальной драме Блэйка Эдвардса «Дни вина и роз» (1962), которая добавила в его копилку ещё одну оскаровскую номинацию.
В 1964 году Леммон сыграл в спектакле «Странная парочка» вместе с актёром Уолтером Маттау, который стал его близким другом. В тандеме с Маттау Леммон снялся в десяти кинокартинах, начиная с «Счастливого билетика» (1966) и киноверсии «Странной парочки» (1968) и заканчивая «Старые ворчуны» (1993) и его сиквелом «Старые ворчуны разбушевались» (1995). За тридцать лет Леммон и Маттау стали одним из самых узнаваемых и любимых комических дуэтов в истории американского кино.
В 1970-е годы в репертуаре Леммона продолжали преобладать роли «людей с улицы», случайно попадающих в самые невообразимые ситуации и вынужденных мучительно выпутываться из них. В эту категорию попадает экранизация пьесы Нила Саймона «Пленник Второй авеню» (1972). На следующий год Леммон наконец выиграл свой второй «Оскар» — за главную роль в драме «Спасите тигра», в которой он согласился сняться практически бесплатно.
Джек Леммон был дважды женат. Сын от первого брака с актрисой Синтией Стоун — Крис Леммон, исполнитель одной из главных ролей телесериала «Гром в раю». Во втором браке с актрисой Фелицией Фар родилась дочь Кортни.
Последние два года своей жизни актёр героически боролся с раком, который в итоге и стал причиной его смерти в июне 2001 года. Актёр был похоронен на кладбище в Уэствуде рядом с могилой его друга Уолтера Маттау, которого не стало за год до этого.