Egy asztalos fiaként látta meg a napvilágot a Rómához közeli Fontana Liriben. Műszaki rajzolóként dolgozott, amikor a második világháború végén a nácik elfogták és egy észak-németországi munkatáborba vitték. Innen sikerült megszöknie, a harcok utolsó heteit egy velencei padláson vészelte át. A háború után egy római filmvállalatnál dolgozott könyvelőként, miközben építészetet és közgazdaságtant tanult az egyetemen, az ottani színkörben partnere volt Giulietta Masina, Fellini későbbi felesége. Tehetségére Luchino Visconti rendező figyelt fel, aki színtársulatába hívta, a kamera elé először 1947-ben a Nyomorultak filmváltozatában állt, s nemsokára kissé esetlen mozgásával, kisfiús kedvességével megteremtette a jellegzetes olasz hősszerelmest.
Az igazi ismertséget a Dosztojevszkij nyomán készült Fehér éjszakák hozta meg számára, a nagy áttörést pedig a Fellini rendezte Az édes élet. A heves vihart kavaró, gyorsan klasszikussá nemesedett alkotásban egy életét eltékozló újságírót alakítva divatot teremtett fekete keretes szemüvegével, angol sportkocsijával, jól szabott öltönyével. A főszerepet Dino de Laurentiis producer Paul Newmannek szánta, akit Fellini túl szépnek talált, és inkább Mastroiannit választotta, mert „szörnyen jellegtelen” arca volt – a producer ezután élete legnagyobb hibájaként kihátrált a projektből. Az édes élethez fűződik a filmtörténet egyik legemlékezetesebb jelenete, amelyben Anita Ekberg Vénuszként fürdik a Trevi-kútban, és a film egyik mellékszereplőjének nevéből ered a lesifotósokra alkalmazott paparazzo kifejezés.
A világsztárrá lett Mastroianni úgy vélte, élete legjobb alakítását Fellini következő filmje, a Nyolc és fél alkotói válságba került rendezőjeként nyújtotta. 1970-ben szerepelt Fellini Rómájában, egy évtizeddel később A nők városában, amely egy középkorú férfi víziója a nőkről, végül 1985-ben Giulietta Masina oldalán a világhírű Ginger Rogers–Fred Astaire-táncospárnak emléket állító Ginger és Fredben. A színész az összes nagy olasz rendezővel dolgozott, Michelangelo Antonionival készítette Az éjszakát (partnere Jeanne Moreau és Monica Vitti volt), amely az emberi kapcsolatok felszínességének rajza, Pietro Germivel a Válás olasz módra című fekete komédiát (1962), ebben jelölték először Oscar-díjra, 1967-ben a Visconti rendezte Közönyben egy gyilkost alakított.
Partnernői között volt a korszak szexszimbólumának számító Brigitte Bardot és Claudia Cardinale is, de az összhangot Sophia Lorennel találta meg a legjobban. Hosszú ideig ők alkották az olasz film „álompárját”, tíznél is több filmet készítettek együtt, ezek között akad romantikus vígjáték (Tegnap, ma, holnap) komédia (Házasság olasz módra) és dráma (Napraforgó, Egy különleges nap), az utóbbiban a homoszexuális rádióbemondó szerepéért 1977-ben ismét Oscar-díjra jelölték. A két színész hosszú szünet után 1994-ben Robert Altman Divatdiktátorok című, parádés szereposztású szatírájában szerepelt utoljára együtt.
Mastroianni több mint 150 filmben játszott, és szinte minden műfajban maradandót nyújtott. Volt züllött Casanova, játszott A nagy zabálás című szatirikus komédiában és az Allonsanfan című történelmi drámában. Harmadik Oscar-jelölését a Nyikita Mihalkov által rendezett Fekete szemekért kapta 1987-ben. Magyar filmben is szerepelt, a Miss Arizonában (1988) Sándor Pál instruálta. Utolsó munkája az Utazás a világ kezdetére című portugál filmdráma volt 1996-ban, Manoel de Oliveira rendezésében.
A sármos színész magánéletével is szolgáltatott témát a sajtónak. 1950-ben vette el a színésznő Flora Carabellát, akitől Barbara lánya született. A férfi csapodársága miatt a hatvanas évektől már külön éltek, de hívő katolikusként soha nem váltak el. A magát félénknek beállító színész ugyanis bolondult a szép nőkért, számtalan szerelmi kaland hőse volt, egyetlen partnernőjének sem tudott ellenállni, és ők sem neki – egyedül Sophia Lorentől nem akart a barátságnál többet. Annál hevesebb viszony fűzte Catherine Deneuve-höz, akitől Chiara lánya született, a szintén francia Jacqueline Bisset-hez, valamint Faye Dunawayhez. Szerencsésnek mondta magát az életben és a szerelemben is, két imádottjának két lányát nevezte. Saját arcát ugyanakkor Fellinihez hasonlóan ő is inkább „minden jellegzetesség nélkülinek és közönségesnek” nevezte, mint jóképűnek.
Számtalan kitüntetése – Golden Globe-, BAFTA-, tiszteletbeli César-díja – mellett az 1989-ben alapított Európai Filmakadémia egyik életre hívója és életműdíjasa volt, s Dean Stockwell és Jack Lemmon mellett az egyetlen, akit színészi alakításáért kétszer is elismertek Cannes-ban (Féltékenységi dráma, 1970, Fekete szemek, 1987). Utolsó éveiben több baleset érte, betegségek kínozták, egyre többet foglalkoztatta a halál gondolata. 1996. december 19-én, 72 évesen halt meg Párizsban, hasnyálmirigyrák következtében. A halálhír bejelentésétől temetéséig Rómában fekete gyászlepellel takarták le a Trevi-kút egy részét, Az édes élet emlékezetes jelenetére utalva. Hamvai az olasz fővárosban nyugszanak.
Mastroianni nevével 1998-ban díjat alapítottak, amelyet a velencei filmfesztiválon adnak át évente a legjobb fiatal színésznek vagy színésznőnek. Az idei cannes-i filmfesztiválon mutatták be Christophe Honoré francia rendező Marcello Mio című filmjét, amely az olasz filmsztár lányán, Chiarán keresztül idézte meg alakját, a filmben a színésznő oldalán anyja, Catherine Deneuve is látható.
