Mikhail Igor Peschkowsky néven 1931. november 6-án született Berlinben zsidó szülők gyermekeként. A család 1939-ben a nácik elől Amerikába menekült, nevüket ekkor változtatták Nicholsra. Mike 1944-ben amerikai állampolgárságot kapott, középiskoláit követően a New York-i, majd a Chicagói Egyetemre járt, ekkor még orvos akart lenni, hogy apja foglalkozását kövesse. Az egyetemen kezdett színészkedni, később New Yorkba visszatérve a legendás Lee Strasbergnél tanult színészetet.
Az 1950-es évek végén alapított stand-up duót Elaine May színésznővel, akivel 1962-ig dolgoztak együtt, a rendkívül sikeres kettős a Broadwayn is fellépett, s az egyik előadásukból készült lemezük elnyerte a Grammy-díjat.
A drámaíróval való gyümölcsöző együttműködése négy Tony-díjat hozott számára. Nichols pályafutása során 16 jelölésből nyolcszor nyerte el a színházi Oscarnak is nevezett kitüntetést, többek között a Monty Python's Spamalot című musicalért.
1966-ban filmrendezőként is bemutatkozott Edward Albee Nem félünk a farkastól című házassági drámájával. Az Elizabeth Taylor és Richard Burton főszereplésével készült filmváltozat óriási sikert aratott, a rendezőt a kritika egyenesen az új Orson Wellesnek kiáltotta ki. Az alkotást 13 Oscarra jelölték, amelyből ötöt váltott díjra. Ez volt az első film, amely mind a négy színészi kategóriában nominálást kapott, és a női fő- és mellékszereplő, Taylor és Sandy Dennis nyert is, de a legjobb rendező kategóriában jelölt Nichols üres kézzel távozott. Az alkotás 2013-ban az amerikai filmörökség része lett.
Következő filmje a Diploma előtt (1967) című romantikus filmvígjáték volt, melynek főszerepére az alig harmincéves, alacsony termetű Dustin Hoffmant választotta, bár a producerek eredetileg Robert Redfordot akarták. Az alkotás tarolt a mozikasszáknál és a díjátadókon is, Nichols többek közt elnyerte a legjobb rendezésért járó Oscar-, Golden Globe- és a BAFTA-díjat. A film zenei albumán olyan, mára klasszikussá vált dalok hangzanak fel a Simon and Garfunkel duótól, mint A csend hangjai vagy a Mrs. Robinson.
1970-ben mutatták be a Joseph Heller regénye nyomán forgatott A 22-es csapdája című szatirikus háborús filmjét, amelyet a Testi kapcsolatok, A delfin napja, valamint a Kincs ez a nő követett. 1983-ban a Silkwood című életrajzi drámáért harmadik alkalommal jelölték rendezői Oscar-díjra, a filmben Meryl Streepet és Chert is aranyszobrocskára nominálták. 1988-ban forgatta egyik legsikeresebb filmjét, a Dolgozó lány című romantikus komédiát Melanie Griffith, Harrison Ford és Sigourney Weaver főszereplésével, amelyért jutalma újabb Oscar-jelölés lett. Érdekesség, hogy az egyik betétdalért Oscart nyert Carly Simon az első, akit ugyanazért a zeneszámért Oscar-, Grammy- és Golden Globe-díjjal is kitüntettek.
A kilencvenes években sikerszériája olyan filmekkel folytatódott, mint a Carrie Fisher önéletrajzi regénye alapján készült Képeslapok a szakadékból című dráma Meryl Streep és Shirley MacLaine főszereplésével, a Csak egy lövés Harrison Forddal és Annette Beninggel vagy a Farkas Jack Nicholsonnal és Michelle Pfeifferrel. Majd visszatért a vígjátékokhoz és Elaine Mayhez, aki előbb a Madárfészek (1996), majd a Joe Klein bestsellere alapján készült A nemzet színe-java (1998) forgatókönyvét jegyezte. Közben producere volt a Napok romjai című, Emma Thompson és Anthony Hopkins főszereplésével készült, James Ivory rendezte brit–amerikai filmdrámának (1993).
Köztük Margaret Edson Pulitzer-díjas Fekete angyal című drámáját, amelyben Emma Thompson egy kemoterápián áteső, életének kulcsfontosságú pillanataira visszatekintő professzort alakított. A tévéfilm rendezéséért 2001-ben Emmy-díjat nyert, akárcsak a Tony Kushner Pulitzer- és Tony-díjat is bezsebelő, Angyalok Amerikában című színpadi műve nyomán készült televíziós sorozatért (2003). Az 1980-as évek AIDS-járványának árnyékában játszódó széria egyszerre volt rendkívül népszerű és hatalmas kritikai siker, összesen 11 Emmy-díjat nyert.
A rendező utolsó filmje a Charlie Wilson háborúja (2007) című politikai dráma volt, amely az egykori texasi kongresszusi képviselő igaz történetét dolgozta fel. 2012-ben visszatért a Broadwayre, ahol előbb Arthur Miller Az ügynök halála című darabját állította színre Philip Seymour Hoffman főszereplésével (amelyért nyolcadik Tony-díját kapta), majd Harold Pinter Árulás című darabjában a Daniel Craig–Rachel Weisz színész házaspárt instruálta.
Mike Nichols 2014. november 19-én halt meg szívinfarktus következtében manhattani otthonában. Halála előtt Jonathan Tropper Mielőtt végleg elmegyek című regényének megfilmesítésén és Terence McNally Mesterkurzus című színdarabjának HBO-adaptációján dolgozott, amelyben az operalegenda Maria Callast Meryl Streep formálta volna meg.
Öt évtizedet felölelő munkásságának elismeréseként 1999-ben a Lincoln Center kitüntetésben részesítette életművéért, 2003-ban elnyerte a Kennedy Center kitüntetését, 2010-ben az Amerikai Filmintézet életműdíjával tüntették ki. Emlékére a PEN America irodalmi és emberi jogi szervezet 2019-ben megalapította a Mike Nichols-díjat.
