Lemmon a helyi John Ward Általános Iskolába járt, majd 22 évesen diplomázott a Harvard Egyetemen. A második világháborúban zászlósként szolgált a haditengerészetnél, majd leszerelése után úgy döntött, színész lesz. A következő években az Old Nick szalonban zongorázott New Yorkban, ezenkívül rádiós szappanoperákban lépett fel, majd később pedig a televízió foglalkoztatta színészként. 1953-ban jutott el a Broadwayre, ahol feltűnően nagy sikereket aratott. 1954-ben kapta meg első filmszerepét, azonban már rá egy évre Oscar-díjasnak mondhatta magát, a Mr. Roberts című filmben nyújtott mellékszerepéért. Ez egyedülálló debütálás volt Hollywood filmtörténetében.
A Mr. Roberts Oscarja után többnyire ismeretlen szerepek következtek, egészen 1959-ig; amikor is fergeteges sikert arat a Van, aki forrón szereti (1959) című Billy Wilder moziban, Marilyn Monroe és Tony Curtis partnereként. A falrengetően humoros komédiáért mind a kritikusok, mind a közönség egyaránt lelkesedett, nem mellékesen Lemmon második Oscar-jelölését is begyűjtötte. Ezt követően Lemmon több Billy Wilder moziban is vállal főszerepet (Legénylakás, Irma, te édes), melyek közül az előbbi alkotás főszerepéért újfent jelölte az akadémia. 1966-ban a színész neve gyakorlatilag összeforrt Walter Matthau-éval, akivel a Sógorom a zugügyvéd című filmben arattak nagy sikert és elindították a következő évtizedek nagy sikerű komédiázásait. A két színész amolyan modern Stan és Pan párost alkotott együtt, és sikereik titka elsősorban a könnyed szórakoztatás műfajában teljesedett ki. Következő közös sikerük két évre rá következett, a Furcsa pár (1969) című filmben, melyben nyújtott parádés játékuk ma már klasszikusnak mondható. 1971-ben a rendezői székben is kipróbálta magát és ki mást kérhetett volna fel a Csakazértis nagypapa című alkotásának főszerepére, mint legjobb barátját, Matthaut. A mozi nem vallott szégyent, a film négy Oscar-jelölést kapott. 1972-ben két könnyed vígjáték következett, az Avanti! és a Közelharc férfiak és nők között, majd 1974-ben Lemmon beírta magát a filmtörténelem nagykönyvébe, hiszen a Mentsük meg a tigrist! című filmdrámában nyújtott alakításáért másodjára nyerte el az Oscar-díjat. 1977-ben egy katasztrófafilmben tűnik fel; az Airport '77-ben egy utasszállítógép kapitányát alakítja Burt Lancaster társaságában. Az évtized végén a mára igazi filmklasszikusnak mondható Kína-szindróma (1979) című drámában szerepelt Michael Douglas és Jane Fonda mellett. A filmben Lemmon egy atomerőmű mérnökét formálja meg. 1980-ban a Tisztelgés című film főszerepéért elnyeri a Berlini Nemzetközi Filmfesztivál legjobb férfi főszereplőnek járó díját, és az Oscarra is jelöljék. 1981-ben ismét Matthauval parádézik a Haver, haver komédiában, majd az Eltűntnek nyilvánítva mozi főszerepéért megkapja pályafutása nyolcadik Oscar-jelölését is, és a Cannes-i Nemzetközi Filmfesztiválon ismét a legjobb színésznek választják meg.
1992-ben egy aprócska szerep erejéig látható az év egyik nagy sikert arató mozijában, A játékosban, ahol saját magát alakítja, és szintén abban az esztendőben más filmsztárok társaságában volt látható a Glengarry Glen Rossban, melyben egy hitehagyott ingatlanügynököt formált meg olyan sikeresen, hogy megkapta a legjobb színésznek járó díjat a Velencei Filmfesztiválon. Ezzel Lemmon a négy legrangosabb filmfesztivál díját tudhatja magáénak, mely ezidáig egyedülálló!
1996-ban a Kenneth Branagh féle Hamlet filmadaptációban kapott egy kisebb szerepet, majd ezt követően 1997-ben a mára igazi kultuszfilmnek számító Tizenkét dühös ember tévéfilm-változatában vállalt főszerepet. Ugyanebben az évben ismét Matthauval játszott együtt a Tengerre, tata! című vígjátékban.
2001-ben vastagbélrákban halt meg Los Angelesben.
