Jean Gabin Alexis Moncorgé néven látta meg a napvilágot Párizsban. Egy művészházaspár hét gyermeke közül a legfiatalabb volt, apja Joseph Gabin néven operett-társulatok énekes-táncoskomikusa, anyja énekesnő volt. Gyermekkorát a fővároshoz közeli Mérielben töltötte, ahol nővére nevelte. Tizennégy éves korában otthagyta a gimnáziumot, és apjával Marseille-be ment munkát keresni, volt kőműves, rakodómunkás, kifutófiú és amatőr bokszoló – állásaiban csak az volt közös, hogy sokat dolgozott és keveset keresett. Tizennyolc évesen engedett apja unszolásának, és megpróbálkozott a színészettel. Párizsban a Folies Bergére gazdasági igazgatójának közbenjárása révén statisztaként alkalmazták, ő igyekezett minél hátrább, lehetőleg az árnyékban állni, hogy senki ne vegye észre. Miután 1924–1925 között teljesítette kötelező katonai szolgálatát, Jean Gabin néven visszatért a szórakoztatóiparhoz, és szinte minden felkérést elvállalt, így neve egyre ismertebbé vált.
A nagy kiugrás éve 1928 lett, amikor Mistinguette, Franciaország koronázatlan revükirálynője partnert keresett a Hollywoodban filmező Maurice Chevalier helyett. Választása Jean Gabinre esett, s a jóvágású férfi meghódította Párizst, a párizsi nőket, sőt állítólag magát a nagy Misst is. A film világa 1930-ban nyílt meg előtte, amikor eljátszotta a Chacun sa Chance című komédia főszerepét, ezt követte a Mephisto, 1934-ben pedig Josephine Baker mellett játszott a Zuzu című alkotásban.
Gabin meghatározó alakja lett a francia filmművészetnek, olyan kiváló rendezőkkel dolgozott, mint Jean Renoir, Julien Duvivier és Marcel Carné. A nemzetközi hírnevet az 1937-ben bemutatott Az alvilág királya Duvivier rendezésében, majd Renorir háborúellenes filmje, A nagy ábránd hozta el számára. Utóbbit kitüntették a velencei filmfesztiválon, az amerikai filmkritikusok 1938-ban az év legjobb külföldi filmjének választották, az 1958-as brüsszeli világkiállítás alkalmával rendezett filmversenyen pedig bekerült minden idők 12 legjobb hangosfilmje közé.
Harmincnégy évesen, ereje és hírneve teljében, szerelmi kalandok egész légiójával a háta mögött a Ködös utak forgatásán találkozott Michele Morgannal, akivel azonnal egymásba szerettek. Közös filmjük számos díjat nyert, a Gabin–Morgan kettős lett a francia közönség legkedveltebb szerelmespárja.
A második világháború kitörése után Nizzába, majd a német megszállás után Spanyolországon és Portugálián át az Egyesült Államokba emigrált. Hollywoodban – angolnyelv-tudás híján – újra kellett kezdenie a pályát, de itt is szerencséje volt, és itt is a nők siettek segítségére. Az egyik legnagyobb sztár, Marlene Dietrich beleszeretett, Gabin miatta vált el második feleségétől. Botrányokban és látványos kibékülésekben bővelkedő kapcsolatuk 1946-ig tartott. (Rossz nyelvek szerint Gabin csak azért tartott ki Dietrich mellett, mert ő volt az egyetlen Hollywoodban, akivel anyanyelvén tudott beszélni.) Itt készült filmjei viszont a feledés homályába merültek.
Hazájától távol pokolian érezte magát, kedvetlenül dolgozott, így 1943-ban beállt a szabad francia hadseregbe. Harcolt Észak-Afrikában, ott volt Párizs bevételénél, bátorságáért több magas kitüntetésben részesült. Leszerelése után azonban szomorúan tapasztalta, hogy elfeledték, ráadásul hirtelen megőszült, megtestesedett. Ő maga is leszámolt filmes pályafutásával, Normandiában földbirtokot vásárolt, harmadszor is megnősült, és családot alapított, két lánya és egy fia született.
1950-ben tért vissza a filmhez a Könnyebb egy tevének című vígjátékban, a következő évben pedig, Az éjszaka az én birodalmam főszerepéért a velencei biennálén a legjobb férfialakításért járó Volpi Kupát kapta, és az ötvenes évek második felére visszaszerezte háború előtti pozícióját. Sikere volt szórakoztató művekben (Francia kánkán) és komolyabb darabokban (Átkelés Párizson, A nyomorultak, Mire megvirrad, A szicíliaiak klánja, Két férfi a városban), filmjeire tódult a közönség, Maigret felügyelő szerepe pedig végképp legendává tette. 1963-ban a szintén világhírű francia színésszel, Fernandellel Gafert néven filmgyártó céget alapított. Simone Signoret-vel 1971-ben közösen készített A macska című filmben nyújtott alakításukért a nyugat-berlini fesztivál zsűrije nekik ítélte mind a női, mind a férfialakítás fődíját, az Ezüst Medvét. Utolsó filmjét, A Szentév című alkotást 1976-ban forgatta.
Gabin már életében mítosszá vált: egyedülálló kivételként csaknem negyven esztendeig vezette a népszerűségi listákat. Hosszú pályafutása során mintegy száz film főszerepét játszotta el, egyforma tökéletességgel alakítva gengsztert, rendőrt, gazdag maffiózót vagy koldust. A népszerűségre fütyült, zárkózott volt és hallgatag, s bár rajongóinak megadta a tiszteletet, tulajdonképpen csak háborítatlan nyugalomra vágyott. Ezért is döntött úgy, hogy halála után szórják hamvait az Atlanti-óceánba. 1976. november 15-én halt meg leukémia okozta tüdőembóliában a Neuilly-sur-Seine-i kórházban. Temetése háborús hősnek kijáró katonai tiszteletadással történt.
A népszerű színész 1960-ban a francia Becsületrend lovagja, 1976-ban tisztje lett, utóbbi évben a Nemzeti Érdemrend tiszti fokozatát is megkapta. 1987-ben posztumusz tiszteletbeli César-díjjal tüntették ki. Mérielben 1992-ben nyílt meg a Jean Gabin Múzeum, ahol az emlékét ápoló baráti társaság is működik a már felnőtt gyerekei vezetésével. 1998-ban postai bélyeget is kiadtak arcképével, 2008-ban Párizsban teret neveztek el róla. Életművét leginkább az a mondat jellemzi, amelyet oly sokszor hangoztatott: „Végül is, nem ment rosszul...”
