John Uhler Lemmon egy newtoni (Massachusetts állam) liftben jött a világra. A szokatlan helyszín magyarázata, hogy a vártnál két hónappal korábban érkezett: anyját bridzsparti közepette érték a szülési fájások, s a kórházban a szülőszoba helyett csak a felvonóig jutott. A kis John négyévesen lépett először a színpadra fánkgyáros apjával egy műkedvelő előadáson. Később a rádióban is bemutatkozott, ám sikerei dacára társai savanyúnak csúfolták (neve angolul citromot jelent). Beiratkozott a Harvard Egyetemre, a II. világháború utolsó hónapjaiban tanulmányait megszakítva tartalékosként szolgált a tengerészetnél. Miután megszerezte diplomáját, 1947-ben New Yorkba ment, hogy színészi karriert kezdjen. Itt némafilmeket kísért zongorán, bárokban zenélt, 1948-tól rádiós szappanoperákban lépett fel, később tévésorozatokban kapott szerepeket. 1953-ban mutatkozott be a Broadwayn, s hamarosan a filmesek is felfedezték.
Először 1954-ben, a Veled is meg kellene történnie című alkotásban állt kamera elé, egy évvel később a Mr. Roberts című filmért megkapta a legjobb férfi mellékszereplőnek járó Oscar-díjat. Elsősorban sajátos humorú, markáns jellemábrázoló képességgel rendelkező komikusként tartották számon. Ebben a szerepkörben csillogott Billy Wilder 1959-es Van, aki forrón szereti című klasszikusában, amelyben Marilyn Monroe és Tony Curtis volt a partnere, ezt hét további Wilder-darab követte.
Ilyen volt az Oscar-díjas Legénylakás (1960), amelyben tragikomikus jellemet, egy mindenki által kihasznált, kissé gyámoltalan biztosítási tisztviselőt formált meg.
A hatvanas években készült filmjei közül kiemelkedik A rosszhírű háziasszony című komédia-thriller és a Míg tart a bor és a friss rózsa. Utóbbiban nyújtotta első emlékezetes drámai alakítását, az alkoholista szerep hiteles megformálása érdekében még az Anonim Alkoholisták találkozóit is látogatta. Az Irma, te édes című 1962-es musicalben a klasszikus némafilmek „clown” szerepében sziporkázott Shirley MacLaine társaságában, ezután következett a Hogyan öljük meg feleségünket című morbid bohózat (1964), a Verseny a javából (1965) és a Sógorom, a zugügyvéd (1966).
1971-ben a rendezéssel is megpróbálkozott: a Csakazértis nagypapa című vígjáték főszerepére természetesen Matthaut kérte fel, akit alakításáért Oscar-díjra jelöltek. Az 1973-as év Lemmon számára hozott újabb Oscar-díjat, a legjobb férfi főszereplő kategóriában a Mentsük meg a tigrist című filmben nyújtott alakítását ismerték el. A Szenzáció (1974) a sajtó világában játszódott, az Airport '77-ben együtt forgatott szintén színész fiával. A 70-es évek végétől a komolyabb karakterszerepek is megtalálták: ilyen volt a Kína szindróma tudósa (1979), az Eltűntnek nyilvánítva (1982) című filmben az apa, aki Chilében keresi a katonai diktatúra tömeggyilkosságai alatt eltűnt fiát. Mindkét politikai thrillerben nyújtott alakításáért jelölték Oscar-díjra.
1978-ban visszatért a színpadra, s 1985-ben a Broadwayn rendezéssel is megpróbálkozott, Eugene O'Neill Utazás az éjszakába című drámáját állította színre. A filmhez visszatérve szerepelt a Makaróni (1985), a J.F.K. – A nyitott dosszié (1991), a Glengarry Glen Ross, a Rövidre vágva (1993) és a Hamlet (1996) című filmekben. Élete alkonyán ismét együtt forgatott Matthauval, A szomszéd nője mindig zöldebb, a Még zöldebb a szomszéd nője (ebben Sophia Loren volt a partnerük) és a Furcsa pár 2. a két idős színész jutalomjátékát jelentették. Utolsó munkájaként Robert Redford Bagger Vance legendája című filmjében (2000) vállalt szerepet. Jack Lemmon 2001. június 27-én halt meg Los Angelesben.
Jóllehet jellemkomikus karakterszínészként volt közismert, akinek a burleszk világa sem ismeretlen, igazi nagy szerepei pályája második felében a drámai műfajhoz fűződnek.
Egyéb díjai közül az Amerikai Filmintézet életműdíja (1988), a Kennedy Központ kitüntetése (1996) és a berlini filmfesztivál Arany Medve életműdíja (1996) fontosabb. A négyszeres Golden Globe-díjas színész Cecil B. DeMille-, három BAFTA- és két Emmy-díjjal is büszkélkedhetett, és csillaga díszíti a Hírességek sétányát. A kevés színészek egyikeként alakításáért egyaránt elnyerte a velencei, a berlini, a cannes-i és a San Sebastián-i filmfesztivál legjobb színészi díját. Dean Stockwell és Marcello Mastroianni mellett az egyetlen, akit színészi alakításáért kétszer is elismertek Cannes-ban (Kína szindróma, Eltűntnek nyilvánítva). 1996-ban Grammy-díjra is jelölték, s négyszer szerepelt házigazdaként az Oscar-díj-átadón.
A sokoldalú Lemmon, bár nem ismerte a kottát, hallás után, autodidakta módon megtanult zongorázni, sőt zenét szerzett a Tűz mélyén és a Sarc című filmekhez, zongoristaként néhány lemezen is közreműködött. Hollywood egyik legkedveltebb színésze karrierje legnagyobb szerencséjének azt tartotta, hogy a legnagyobbakkal dolgozhatott együtt az amerikai filmgyártás fellegvárában. Hamvai a Los Angeles-i Westwood Village Memorial Parkban nyugszanak, sírján mindössze neve olvasható.
